Anthropicning Yangi AI Modeli Numbatning Qismlari Ochiqga Chiqqan

Anthropic kompaniyasining yangi AI modeli Numbatning qismlari ochiqga chiqdi. Bu model 14 trillion parametrga ega va 772 shardga bo'lingan. Numbatning qismlari Hugging Face platformasida joylashtirilgan.

Numbatning Texnik Xususiyatlari

Numbat 114 qatlamli model boʻlib, u Gated DeltaNet (GDN) va Multi-head Latent Attention (MLA) arxitekturasini birlashtirgan. Modelda 1,224 ekspert va top-48 + 1 umumiy ekspert mavjud. Numbatning parametrlari NVFP4 formatida saqlangan.

$ python -c "from safetensors import safe_open; f = safe_open('model-00001-of-00772.safetensors', framework='pt'); print(len(f.keys()))"
142

Numbatning qismlari 7.72 TB hajmga ega boʻlib, har bir shard 10.6 GB dan kamroq. Modelning konfiguratsiyasi, referens implementatsiyasi va tokenizatsiya ma'lumotlari ham ochiqga chiqdi.

Numbatning Ochiqga Chiqqan Sabablari

Numbatning qismlari ochiqga chiqishi Anthropic kompaniyasining Claude Code manbasi orqali tasdiqlangan. Bu modelning arxitekturasi va parametrlari keyingi avlod Mythos sinfidagi model uchun kutilganidan farq qilmaydi.

Numbatning qismlari ochiqga chiqishi bilan birga, modelning barcha tensorlari ichki jihatdan mos keladi. Bu modelning ishonchliligini tasdiqlaydi.

Numbatning Qanday Ishlashi

Numbatning arxitekturasi GDN va MLA stackini birlashtirgan. Modelda Mixture-of-Experts feed-forward qatlamlari va Multi-Token Prediction mavjud. Modelning referens implementatsiyasi Hugging Face platformasida mavjud.

$ cat model.safetensors.index.json | python -c "import json,sys; d=json.load(sys.stdin); print(d['metadata']['total_size'])"
7720300817720

Numbatning qismlari ochiqga chiqishi bilan birga, modelning barcha tensorlari va shardlari yuklab olish mumkin. Bu modelni inferensiya uchun ishlatish mumkin.

Numbatning Kelajagi

Numbatning qismlari ochiqga chiqishi bilan birga, modelning barcha shardlari yuklab olish jarayoni davom etmoqda. Modelning barcha shardlari yuklab olinganidan keyin, u to'liq ishlatish uchun tayyor bo'ladi.

Numbatning qismlari ochiqga chiqishi AI jamoatchiligida katta qiziqish uyg'otdi. Bu modelning kelajagi va uning potentsial qo'llanilishi haqida ko'p bahslar bor.

Asl manba: huggingface.co