PrismML yangi Bonsai 2 27B modelini taqdim etdi

Sun'iy intellekt laboratoriyasi PrismML yaqinda o'zining eng yangi LLM siqish modelini, Bonsai 2 27B ni e'lon qildi. Ushbu model Qwen3.8 27B ning 5.9 GB ga siqilgan versiyasi bo'lib, PC va yuqori darajadagi smartfonlarda ishlashga mo'ljallangan. Model hajmi asl modelga nisbatan 9-10 baravar kichik bo'lsa ham, uning ishlash ko'rsatkichlari 98% gacha saqlanadi.

Texnik asoslar

PrismML ning siqish texnologiyasi "ternary" vaznlar (weights) usuliga asoslanadi. An'anaviy LLM lar har bir vaznni 16 bitda saqlaydi, lekin ternary vaznlar faqat +1, -1 yoki 0 qiymatlarini oladi. Bu yondashuv vaznlar hajmini sezilarli darajada kamaytiradi, shu bilan birga modelning intellektual qobiliyatini deyarli yo'qotmaydi. GitHub sahifasida batafsil texnik tavsiflar mavjud: PrismML ternary compression.

Sanoat konteksti

LLM lar hajmi oshgani sayin, ularni bulutda ishlatish xarajatlari ham ortadi. Shuning uchun kichik, lekin yuqori samarali modellarga talab ortib bormoqda. PrismML ning asoschilari Caltech professorlari bo'lib, ular compression texnologiyasida yetakchi mutaxassislar. Kompaniya Khosla Ventures, Cerberus Capital va Caltech kabi investorlar tomonidan qo'llab-quvvatlanadi.

Boshqa yechimlar bilan taqqoslash

• Multiverse Computing — ispan professoriga asoslangan kompaniya ham LLM siqish bilan shug'ullanadi, lekin PrismML ga nisbatan katta moliyaviy mablag'lar olgan.
• OpenAI va Google DeepMind kabi yirik korporatsiyalar ham model hajmini kamaytirish bo'yicha tadqiqotlar olib bormoqda, ammo ularning yondashuvi ko'proq kvantizatsiya va pruning ga asoslanadi.
• PrismML ning ternary vaznlar usuli esa vaznlar sonini uchga kamaytirib, xotira talabini ancha pasaytiradi.

Cheklovlar va ochiq savollar

Hozirgi bosqichda siqilgan modellarning benchmark ko'rsatkichlari 98% gacha bo'lsa-da, 100% ga yetishish hali noaniq. Ba'zi ekspertlar siqish har doim ma'lum darajada aniqlik pasayishiga olib keladi, deb hisoblaydi. Bundan tashqari, siqish jarayonida modelning ba'zi noaniq vazifalar uchun moslashuvchanligi kamayishi mumkin.

Foydalanuvchi va bozor ta'siri

PrismML ning maqsadi LLM larni foydalanuvchi qurilmalariga olib kelish, shu bilan birga ma'lumot maxfiyligini oshirish. Qurilmada ishlaydigan model bulutga ma'lumot yubormasligi sababli, foydalanuvchi shaxsiy ma'lumotlari himoyalanadi. Bundan tashqari, qurilmada AI ishlashi internetga bog'liq bo'lmagan vazifalar, masalan oflayn tarjima, real vaqtli tavsiyalar va mahalliy ma'lumot tahlili kabi sohalarda yangi imkoniyatlar yaratadi.

Kelgusida PrismML katta parametrli modellarga ham siqish texnikasini tatbiq etishni rejalashtirmoqda. Kompaniya vakillari, bir necha oy ichida yuzlab milliard parametrli modellarga ham 100% ga yaqin natija olish mumkinligini taxmin qilmoqda. Bu trend katta modellarga nisbatan siqish samaradorligi oshishi, ya'ni kattaroq modellarda siqishning nisbiy yo'qotishlari kichik modellarga qaraganda kamroq bo'lishi mumkinligini ko'rsatadi.

Umuman olganda, PrismML ning yondashuvi AI ni keng ommaga yanada yaqinlashtiradi, qurilmalarda mustaqil ishlash imkoniyatini yaratadi va texnologik infratuzilma talablarini kamaytiradi. Bu esa AI ekotizimida yangi raqobatbardosh modelni yaratadi va foydalanuvchilarga yanada qulay, xavfsiz va maxfiy AI xizmatlarini taklif etadi.