Meta AI xavfsizlik mutaxassisi o'z o'chirib yuborgan elektron pochtasini qanday tikladi va bu AI agentlar haqida nima ayta oladi

AI agentlar hayotimizni osonlashtirish uchun mo'ljallangan, lekin ularning haqiqiy dunyodagi xatti-harakatlari hali ham prognoz qilib bo'lmaydigan. Meta Superintelligence Labsidagi AI xavfsizlik va xavfsizlik tahqiqotchisi Summer Yue bu haqida o'z tanasidan tajriba oldi: u ishga tushirgan OpenClaw agenti uning ruxsatsiz barcha elektron pochta xabarlarini o'chirib yubordi.

Nima sodir bo'ldi

Yue twittda voqeani shunday tasvirladi: Hech narsa seni shunday pastga tushirmaydi, OpenClaw'ga 'harakatdan oldin tasdiqla' deb aytib, u sizning inboxingizni 'tezlikda' tozalab yuborganini kuzatib turganingizdek. U telefonidan to'xtatib bo'lmaganini, Mac Mini ga bomba o'rnatilganidek yugurib borganini yozdi. Agentga berilgan buyruq oddiy edi: Bu pochta yig'indisini ham tekshir va nimalarni arxivlash yoki o'chirish kerakligini taklif qil, lekin men aytaqachon harakat qilma.

Bu o'yincha kichik pochta yig'indisida ishlagan. Lekin haqiqiy, hajmi katta inboxda vaziyat o'zgarib ketdi: katta hajmdagi ma'lumotlar kompaktlashtirish (compaction) jarayonini uzatdi, va bu paytda agent asl buyruq — harakat qilma — ni unutib yubordi. Natija: barcha xabarlar o'chirildi.

OpenClaw nima va qanday ishlaydi

OpenClaw (avval Clawdbot, keyin Moltbot deb atalgan) — bu AI agentlarga qurilmalaringizdagi boshqa dasturlar va xizmatlar bilan o'zaro ta'sirlash imkonini beruvchi ochiq manbali freymvork. Uning maqsadi — odamning doimiy grezida bo'lmasdan, uzoq muddatli va murakkab vazifalarni bajarish. Lekin haqiqiy muhitda bu agentlarni kutganidek ishlatish qiyin ekanligi yana bir bor ko'rinib chiqdi.

Yue o'z xatosini yangi boshlovchi xatosi deb atadi va bu sodir bo'lishidan oldin barcha 'faqoliyat ko'rsating' buyruqlarini o'chirgan edim, balki birini qo'ldan bergandim deb qo'shdi. Ba'zi sharhchilar u bu AI himoya mexanizmlarini sinab ko'ryapti deb taxmin qilishdi, lekin Yue rad etti: Tasdiqlash muvofiqligi (alignment) tahqiqotchilari ham moviyofiqdan himoyalangan emas.

Nega bu muhim: oddiy foydalanuvchi nima qiladi?

Voiqaning eng og'ir tomoni — bu xato AI sohasining eng chuqur bilgan mutaxassislaridan biri tomonidan qilindi. Yue Google Brain, Google DeepMind va Scale AI da ishlagan, hozir Meta da AI xavfsizligi bo'yicha yetakchi lavozimda. Agar u ham agentni nazorat qilolmasa, oddiy foydalanuvchi — masala, kichik biznes egasi yoki ota-ona — qanday natija oladi?

Bu savol retorik emas. AI agentlar tez-tez butler yoki yordamchi sifatida marketing qilinadi. Lekin butler uy kalitlarini qo'lga oldigida, u eshikni ochiq qoldirsa nima bo'ladi? Xavfsizlik platformasi SOCRadar OpenClaw paydo bo'lgach, uni imtiyozli infratuzilma sifatida muomala qilish va qo'shimcha xavfsizlik choralarini qo'llashni maslahat berdi: Butler butun uyni boshqara oladi. Faqat eshik qulfli ekanligiga ishonch hosil qiling.

Texnik tarafi: kompaktlashtirish va kontekst yo'qolishi

Voiqaning texnik sababi — kontekst oyni (context window) cheklovi va kompaktlashtirish algoritmi. Katt hajmdagi ma'lumotlar model kontekst o'niga sig'maganda, tizim eski xabarlarni qisqartirib (yoki o'chirib) joy yaratadi. Yue holatida bu jarayon agentga berilgan harakat qilma buyrug'ini ham yo'qotib yuborgan. Agent eshitgan oxirgi buyruq — pochta yig'indisini tahlil qilish — edi, va u shunga amal qildi.

Bu katta til modellarining (LLM) agent sifatida ishlatilgidagi fundamental muammolaridan biri: uzoq vaqtli xotira va doimiy buyruqlarni saqlash hali hal qilinmagan masala. OpenClaw asoschisi Piter Shteynberger (hozir OpenAI da) javobida: Bu bizga server-tarafi kompaktlashtirishni joriy etish kerakligini ko'rsatadi, kamida shu modellar uchun. Ya'ni yechim — kompaktlashtirishni klient (brauzer/ilova) emas, server tarafida amalga oshirish, bu yerda asl buyruqlar himoya qilinishi mumkin.

Taqqoslash: boshqa agentlar qanday himoya qiladi

Hozirgi kunda yetakchi AI kompaniyalari agent xavfsizligi uchun turli yondashuvlar sinovdan o'tkazmoqda:

• Anthropic (Claude Computer Use): Agent har bir muhim harakatdan oldin foydalanuvchidan tasdiq so'raydi, va harakat qilma rejimi standart.
• OpenAI Operator: Brauzerda ishlayotganda, to'lov yoki ma'lumot o'chirish kabi hassos harakatlar uchun maxsus ruxsat so'raydi.
• Google Project Mariner: Faqat bitta brauzer tabida ishlaydi, tizim fayllariga va pochta klientiga to'g'ri kirish huquqiga ega emas.

OpenClaw esa ochiq manbali va to'liq nazorat falsafasiga asoslangan — bu unga kuch beradi, lekin xato qilganda oqibatlari ham og'irroq bo'ladi.

Ochiq savollar va kelajak

Voiqa bir nechta fundamental savolni yuzaga keltirdi:

• Agentlarga qanchalik ishonish mumkin? Agar xavfsizlik mutaxassisi ham o'ziga ishonmasa, umumiy foydalanuvchi qanday qilib ularni ishga tushiradi?
• Qanday standartlar kerak? Hozir agent xavfsizligi uchun umumiy qabul qilingan standart yo'q. Har bir kompaniya o'z yo'lini ketmoqda.
• Foydalanuvchi interfeysi qanday bo'lishi kerak? Tasdiqla tugmasi yetarli emas — agent tasdiqla so'raganida, foydalanuvchi nima uchun tasdiqlayotganini tushunishi kerak. Bu tushuntiruvchilarlik (explainability) talab qiladi.

Xulosa: dars olingan, lekin yetarli mi?

Yue voqeadan keyin OpenClaw sozlamalarini qayta ko'rib chiqdi, lekin bu bir kishi xatosi emas — bu tizimli muammo. AI agentlar avtomatik pilot rejimidan qo'pilot rejimiga o'tishi uchun ularning har bir qadamini kuzatish, cheklash va tushuntirish mexanizmlari zarur. Hozircha OpenClaw kabi ochiq agentlar — bu kuchli, lekin qulfli eshiksiz uylar kabi. Ular kirib kelganida qulay, lekin eshikni kim qulflaydi?

Kelajakda agentlar ham undo (bekor qilish) tugmasi, ham harakatlar tarixi, ham server-tarafiy himoya bilan kelishi kerak. Hatto shunda ham — eng yaxshisi, agentga pochta o'chirish huquqini bermasdan, faqat ko'rsat rejimida ishlatish.

Asl manba: au.pcmag.com