Lumabri: LLMsni Napster kabi ishlatish

Lumabri loyihasi Colibrì loyihasidan kelib chiqqan. Colibrì loyihasida katta LLMlarni oddiy kompyuterda ishga tushirish imkonini ko'rib chiqildi. Lumabri loyihasi bu g'oyani bir qadam oldinga olib bordi.

Lumabri bir kompyuter o'rniga bir nechta kompyuterlarni birlashtirib, ularning resurslarini umumiy foydalanishga topshiradi. Bitta kompyuter disk joyi, bitta kompyuter hisoblash quvvati, bitta kompyuter boshqa qismni ta'minlaydi. Agar kerakli blok yoki mutaxassis mahalliy kompyuterda mavjud bo'lmasa, tizim uning o'rniga boshqa kompyuterda topilgan nusxasini chaqirib oladi.

./lumabri serve --model /path/to/model

./lumabri chat --tracker <server-ip>:7300 --engines-dir /path/to/colibri/c

Bu g'oya Mixture-of-Experts modellari uchun juda qiziqarli. Modelda yuzlab milliard parametrlar bo'lishi mumkin, lekin faqat kichik bir qismi aktivlashtiriladi. Lumabri katta mutaxassislik vaznini tarmoq orqali uzatish o'rniga, faqat kichik aktivatsiyalarni boshqa kompyuterlarga yuborib, ularni bajarish imkonini beradi.

  come entri nello sciame?

    1  solo chattare        non condividi niente
    2  chatti e doni disco  tieni un pezzo di glm per lo sciame
    3  chatti e doni calcolo  esegui esperti per gli altri
    4  tutti e due

  invio = solo chattare

Lumabri loyihasining maqsadi

Lumabri loyihasining maqsadi kompyuterlar o'z resurslarini boshqa kompyuterlarga berish va ulardan foydalanish imkonini berishdir. Bu g'oya peer-to-peer tizimlardan ilhomlangan.

lumabri serve --model /models/glm      --port 7300
lumabri serve --model /models/olmoe    --join 127.0.0.1:7300 --port 7310
lumabri serve --model /models/deepseek --join 127.0.0.1:7300 --port 7320

Qiyinchiliklar

Lumabri loyihasida ko'plab qiyinchiliklar mavjud. Jumladan, tarmoq kechikishi va xavfsizlik muammolari. Bu muammolarni hal qilish uchun peer verification, SHA-256 verification, signed model state, replica selection, failover, va deterministic execution usullari qo'llanilmoqda.

./lumabri serve --model ./slice --join TRACKER:7300 \
                --model-name tiny_olmoe --donate 5

Lumabri loyihasi hali eksperimental bosqichda. Loyiha muallifi katta server yoki GPU klasteriga ega emas, shuning uchun u o'zining mavjud resurslari bilan loyihani ishlab chiqmoqda.

make && make fixture              # builds everything + tiny_olmoe/
./lumabri serve --model ./tiny_olmoe

Colibrì loyihasida savol shunday edi: Bir kompyuter katta LLMni ishga tushirishi mumkinmi? Lumabri loyihasida savol shunday: Ko'plab oddiy kompyuterlar birgalikda katta kompyuterga aylanishi mumkinmi?

./lumabri chat --engines-dir /path/to/colibri/c

Loihaga aloqador havola: Lumabri loyihasi

./lumabri serve --model ./slice --join <your-ip>:7300 \
                --model-name tiny_olmoe --donate 2

Asl manba: github.com