Apple Silicon’da TRELLIS.2 modeli: CUDA‑siz 3D tasvir yaratish imkoniyati

Sunʼiy intellekt sohasida 4 billion parametrli TRELLIS.2 modeli tasvirni 3‑oʻlchamli obyektga aylantirishda katta eʼtiborni qozongan. Biroq, bu model dastlab CUDA (Nvidia grafik protsessorlari uchun maxsus platforma) va bir qator maxsus kernel‑larga tayanadi, bu esa Apple Silicon (M‑seriyali protsessorlar) foydalanuvchilari uchun muammo bo‘lib qolgan.

Mac‑da TRELLIS.2 ni ishga tushirishga qadamlar

Ushbu loyiha PyTorch MPS (Metal Performance Shaders) yordamida TRELLIS.2 modelini Apple Silicon‑da ishlashini taʼminlaydi. Asosiy o‘zgartirishlar quyidagilarni o‘z ichiga oladi:

# Clone this repo
git clone https://github.com/shivampkumar/trellis-mac.git
cd trellis-mac

# Log into HuggingFace (needed for gated model weights)
hf auth login

# Request access to these gated models (usually instant approval):
#   https://huggingface.co/facebook/dinov3-vitl16-pretrain-lvd1689m
#   https://huggingface.co/briaai/RMBG-2.0

# Run setup (creates venv, installs deps, clones & patches TRELLIS.2)
bash setup.sh

# Activate the environment
source .venv/bin/activate

# Generate a 3D model from an image
python generate.py path/to/image.png

• Sparse 3D konvolyutsiya – CUDA‑ga xos gather‑scatter operatsiyalarini to‘liq PyTorch kodiga almashtirish.
• Sparse transformer uchun SDPA (Scaled Dot‑Product Attention) – maxsus attention kernellarini PyTorch‑ning standart torch.nn.functional.scaled_dot_product_attention funksiyasiga o‘zgartirish.
• Mesh extraction – CUDA‑dagi hashmap operatsiyalarini Python‑da yozilgan mesh‑yaratuvchi algoritmga almashtirish.

Umuman olganda, 9 ta faylda bir necha yuz qator kod o‘zgartirildi, lekin modelning asosiy funksionalligi saqlanib qoldi.

Natijalar: MacBook M4 Pro’da tezlik va samaradorlik

Yangi port qilingan model M4 Pro (24 GB RAM) qurilmasida bir tasvirdan taxminan 400 000 vertexli 3D meshni 3,5 daqiqada yaratadi. Bu natija H100 Nvidia GPU’da bir necha soniya ichida bajariladigan tezlikka yetmaydi, lekin quyidagi afzalliklarni taklif etadi:

• Hech qanday bulut‑xizmatga yoki internetga bog‘lanish shart emas – barcha hisoblashlar offline amalga oshiriladi.
• Apple ekotizimida ishlash, yaʼni MacBook, iMac yoki Mac mini kabi qurilmalarda qo‘shimcha apparat xarajatlari yo‘q.
• CUDA‑ga bog‘liq bo‘lmagan, ochiq‑manba kod (GitHub: shivampkumar/trellis-mac) orqali hamjamiyat tomonidan yanada takomillashtirish imkoniyati.

Texnik tushunchalar: CUDA, MPS va sparse konvolyutsiya

CUDA – Nvidia GPU‑lari uchun maxsus dasturlash interfeysi bo‘lib, ko‘p hollarda yuqori samaradorlikni taʼminlaydi, lekin faqat Nvidia qurilmalarida ishlaydi. Apple Silicon esa MPS (Metal Performance Shaders) deb ataluvchi o‘z grafik va hisoblash platformasiga ega, bu esa GPU‑ga yaqin tezlikda hisoblashlarni amalga oshirishga imkon beradi.

# Basic usage
python generate.py photo.png

# With options
python generate.py photo.png --seed 123 --output my_model --pipeline-type 512

# All options
python generate.py --help

Sparse konvolyutsiya – ma’lumotlar zich bo‘lmagan (sparse) holatlarda konvolyutsiya operatsiyasini samarali bajarish texnikasidir. Bu usul TRELLIS.2 modelida 3‑o‘lchamli fazoda katta hajmdagi ma’lumotlarni tezda qayta ishlashga yordam beradi.

Kelajakda nimalar kutish mumkin?

Apple Silicon‑da AI modellari uchun qo‘llab‑quvvatlash tobora kengaymoqda. TRELLIS.2 porti bu yo‘nalishda muhim qadam bo‘lib, quyidagi imkoniyatlarni ochadi:

• Mac‑da mustaqil 3D tasvir yaratish, arxitektura, o‘yin dizayni yoki ilmiy vizualizatsiya uchun yangi vosita.
• Open‑source hamjamiyatida qo‘shimcha optimallashtirishlar, masalan, Metal‑ga xos kernel‑larni qo‘shish.
• Boshqa katta hajmdagi modellarni (masalan, Stable Diffusion, LLaMA) ham Apple Silicon‑ga moslashtirish tajribasini oshirish.

Umuman olganda, TRELLIS.2 ning Mac‑ga portlanishi, CUDA‑ga bog‘liq bo‘lmagan AI yechimlari rivojlanishiga yangi sahifa ochadi va foydalanuvchilarga yanada erkin, mustaqil ishlash imkoniyatini beradi.