LLM‑larda chiziqli tasvir va superpozitsiya: sun'iy intellektni tushunishning yangi yondashuvi

Sun'iy intellekt (AI) sohasida katta til modellari (LLM) tez sur’atda rivojlanib, kundalik hayotimizda keng qo‘llanila boshladi. Biroq, bu modellar qanday “aql” ishlatishini tushunish ham muhim bo‘lib qoldi. Mexanik interpretatsiya – ya’ni modelning ichki strukturasini ilmiy asosda tushunishga qaratilgan tadqiqotlar – aynan shu savolga javob izlaydi. Ushbu maqolada biz ikki muhim tushunchani – chiziqli tasvir (linear representation) gipotezasi va superpozitsiya – ko‘rib chiqamiz va ularning LLM‑lardagi roli haqida oddiy til bilan tushuntirib beramiz.

Chiziqli tasvir gipotezasi nima?

Gipoteza shundan iboratki, til modelida ma’lum bir konsept (masalan, jins, vaqt, til) vektor shaklida ifodalanadi va bu vektorlar bir-biriga chiziqli munosabatda bo‘ladi. Klassik misol – Word2Vec modelidagi "king - man + woman ≈ queen" tenglamasi. Bu yerda so‘zlarning semantik ma’nolari fazoda vektorlar sifatida joylashgan, va jins konsepti bir yo‘nalishda (vektor) ifodalanadi.

Yangi LLM‑larda ham bu g‘oya davom etadi. Modellar ikki asosiy fazoda ishlaydi:

• Embedding fazosi – kirish kontekstining yakuniy yashirin holati (E(x)) saqlanadi.
• Unembedding fazosi – chiqish tokenlari uchun matritsaning satrlari (U(y)) joylashgan.

Har bir fazoda konseptning yo‘nalishi – masalan, "erkak → ayol" – bir doimiy vektor (E_C yoki U_C) sifatida namoyon bo‘ladi. Bu vektorlarni qo‘shish yoki ayirish orqali modelning javobini nazorat qilish mumkin.

Ortogonallik va sababli ichki ko‘paytma

Agar ikki konsept bir-biriga aloqasiz bo‘lsa, ularning vektor yo‘nalishlari bir-biriga perpendikulyar (ortogonal) bo‘lishi kutiladi. Ammo oddiy Evklid ichki ko‘paytmasi (dot product) bu ortogonallikni ko‘rsatmaydi. Park va hamkasblari tadqiqotida sababi ichki ko‘paytma (causal inner product) deb ataluvchi maxsus o‘lchov kiritildi. Faqat shu o‘lchovda konsept vektorlari ortogonal bo‘lib, bir konseptni qo‘llash boshqasiga ta’sir qilmasligini tasdiqladi.

Superpozitsiya: kichik fazoda ko‘p ma’lumotni sig‘dirish

Embedding fazolari odatda 2 000‑16 000 o‘lchamli bo‘lsa-da, tilning minglab xususiyatlarini bitta fazoga sig‘dirish kerak. Bu yerda superpozitsiya tushunchasi kiradi. Agar N ta vektor d‑dimensional fazoda d‑dan katta bo‘lsa, ular bir-biriga aralashadi. Ammo yuqori o‘lchamli fazalarda (masalan, 10 000) vektorlar deyarli ortogonal bo‘lishi mumkin – bu Johnson‑Lindenstrauss lemmasi bilan tasdiqlanadi.

Anthropic tadqiqotida superpozitsiya sintez ma’lumotlar to‘plamida sinovdan o‘tkazildi. Natijada, faqat chiziqli (aktivatsiyasiz) hisoblashda emas, balki ReLU kabi no‑chiziqli aktivatsiya funksiyasi qo‘llanganda superpozitsiya paydo bo‘ldi. Bu no‑chiziqlik modelga aralashuvni foydali tarzda boshqarish imkonini berdi, ayniqsa ma’lumotda xususiyatlar kamdan‑kam birga uchrashsa.

Geometriya va energetik modellash

Sintez tajribalarda o‘rganilgan vektorlar tetraedr, pentagon yoki kvadrat antiprizm kabi muntazam shakllarda joylashdi. Bu strukturalar sferik kodlar va Thomson muammosiga o‘xshash energiya minimallashtirish algoritmlari natijasida paydo bo‘lishi mumkin. Ya’ni, model gradient tushish orqali bir birlik giper-sferada nuqtalar orasidagi energiyani kamaytiradi, natijada “yaqin‑ortogonal” vektorlar to‘plami hosil bo‘ladi.

Nima uchun bu muhim?

Chiziqli tasvir va superpozitsiya konseptlari LLM‑larni yanada chuqurroq tushunish, xatoliklarni aniqlash va hatto modelga maqsadli aralashuvlar (intervention) qilish imkonini beradi. Ular nazariy asosga ega bo‘lib, amaliy tajriba bilan tasdiqlangan. Kelajakda bu yondashuvlar yordamida LLM‑larning “aql” darajasini oshirish, xavfsizligini ta’minlash va foydalanuvchi ehtiyojlariga moslashtirish mumkin bo‘ladi.

Umuman olganda, til modellari ichidagi xususiyatlar chiziqli vektorlar shaklida ifodalanishi, ortogonallik va superpozitsiya orqali bir-biriga aralashmasligi, sun'iy intellektni yanada shaffof va nazorat qilinadigan qilishga xizmat qiladi. Mexanik interpretatsiya yo‘nalishi hali ham o‘sishda, ammo bu ikki asosiy kontseptning yordami bilan biz LLM‑larning sirli “intellekti”ni asta‑asta ochib beramiz.