Maple: Sub-2-BPW Moe Pruning Gemma 4 26B Modelni 6GB GPUda 45 TPSda Ishlatish

Maple — bu Gemma 4 26B modelini 4.75 GB hajmga kamaytiradigan sub-2-BPW strukturaviy siqish texnologiyasi. Bu modelni 6 GB VRAMga ega laptoplarda 100% in-VRAMda ishlatish imkonini beradi. Bu texnologiya 45.4 token/sekund tezlikda ishlaydi.

Maple Texnologiyasining Asosi

Maple texnologiyasi Mixture-of-Experts (MoE) modellarini siqish uchun mo'ljallangan. Bu texnologiya Gemma 4 26B-A4B modelini 9.92 GBdan 4.75 GBga kamaytiradi. Bu siqish jarayoni 1.48 effektiv bit/parametrni ta'minlaydi.

Maple texnologiyasi Python dasturlash, algoritmlar sintezini, ma'lumotlar tuzilmalarini va formal STEM tafakkurini yaxshilash uchun mo'ljallangan. Bu texnologiya 80 ta multilingual va umumiy suhbat ekspertlarini olib tashlaydi va faqat 48 ta ekspertni saqlab qoladi. Bu ekspertlar deduktiv tafakkur va sintaksis generatsiyasini saqlab qoladi.

Maple Texnologiyasining Qanday Ishlashi

Maple texnologiyasi uchta asosiy bosqichdan iborat:

• Kalibratsiya: Foydalanuvchi o'zining maxsus matn korpusini ishlatib, engine/maple_profile.py skriptini bajarishi kerak. Bu skript ekspertlarning yo'nalish chastotasini va aktivatsiya energiyasini profilga oladi.
• Tanlov: MAPLE ekspertlarni birlashtirilgan energiya metrikasi bo'yicha baholaydi va engine/expert_selection_map.json faylini chiqaradi.
• Konteyner Yig'ilishi: engine/maple_build.py skriptini bajarish orqali siqilmagan asosiy modelni kesib, optimallashtirilgan sub-2-BPW GGUF konteynerni yig'iladi.

Maple texnologiyasi har qanday maxsus sohada, masalan, tibbiyot, moliya, huquqiy tahlil yoki ijodiy yozuvda qo'llanilishi mumkin.

Maple Texnologiyasining Afzalliklari

Maple texnologiyasi Gemma 4 26B-A4B modelini 2.09 marta kichraytiradi va VRAM ishlatishni 32% kamaytiradi. Bu texnologiya 6.57 marta tezroq ishlaydi va 6.58 marta tezroq javob beradi.

Maple texnologiyasi turli vazifalarni bajarish uchun mo'ljallangan. Masalan, Fibonacci ketma-ketligini sintez qilish, ikkilik qidiruv daraxtini yaratish, Rayleigh tarqalishini tushuntirish va sillogistik mantiqni bajarish.

Maple Texnologiyasining Cheklovlari

Maple texnologiyasi bir nechta cheklovlarga ega. Masalan, Ghost Router (Proxy-Embedding Failure) muammosi, Cascaded Normalization Suppression va DRY Sampler Interference muammolari. Bu muammolarni hal qilish uchun MAPLE true forward profiling va standart nucleus samplingdan foydalanadi.

Maple Texnologiyasining Tavsiflari

Maple texnologiyasi GitHubda AmSach/maple havolasida ochiq manbali tarzda mavjud. Bu texnologiya Apache 2.0 litsenziyasi ostida tarqatiladi.

llama-cli \
  -hf AmSach/Gemma-4-26B-A4B-MAPLE-Sub5GB-GGUF \
  -ngl 99 \
  -c 2048 \
  -n 512 \
  --temp 0.4 \
  --top-p 0.9 \
  --repeat-penalty 1.1 \
  -r "<turn|>" \
  -p "<|turn>user\nExplain why the sky is blue using Rayleigh scattering.\n<turn|>\n<|turn>model\n"

Maple texnologiyasining 4.75 GB GGUF model konteyneri Hugging Face Hubda AmSach/Gemma-4-26B-A4B-MAPLE-Sub5GB-GGUF havolasida ochiq manbali tarzda mavjud.

Asl manba: github.com