Cloudflare yangi Disallow AI Training sozlamasini e'lon qildi

Internet sahifalarini qidiruv tizimlari indekslaydigan va sun'iy intellekt modellarini o'rgatadigan botlar orasidagi qarama-qarshilik uzoq yillardan beri muammo bo'lib kelgan. Cloudflare bu muammoni hal qilish maqsadida Disallow AI Training nomli yangi sozlamani ishga tushirdi.

Mixed-use crawlers muammosi

Ko'p yirik kompaniyalar bir bot orqali ham qidiruv indeksini yaratadi, ham AI trening ma'lumotlarini to'playdi. Bu mixed-use crawler deb ataladi. Sayt egasi bitta funksiyani rad etsa, ikkinchisidan ham voz kechishi kerak bo'ladi, natijada qidiruvda ko'rinish kamayadi yoki AI treningi davom etadi.

Disallow AI Training sozlamasining asosiy xususiyatlari

Yangi sozlama Disallow: / direktivasini robots.txt fayliga qo'shadi, lekin bu faqat AI treningi uchun amal qiladi. Qidiruv botlari esa Accountable mixed-use crawlers deb tasniflangan holda izlanishda davom etadi. Apple, Google va Microsoft kabi yirik operatorlar bu standartni qabul qilishga vaqti-vaqti bilan majburiy qilishga tayyorligini bildirishdi.

Accountable belgilash va operatorlar majburiyati

Cloudflare Accountable belgisini quyidagi mezonlarga asoslanib beradi:

• Sayt egalariga AI treningidan voz kechish imkonini beruvchi mexanizm (robots.txt yoki shunga o'xshash standart).
• AI xulosa (summary) funksiyasidan voz kechish imkonini beruvchi mexanizm, keyingi yilda Cloudflare orqali ham boshqarish mumkin bo'ladi.
• Qaysi URL'lar trening uchun ochiq bo'lganini va qidiruv natijalarida qanday ko'rinishini ko'rsatadigan statistik ma'lumotlar.
• AI treningidan voz kechish qidiruv natijalariga ta'sir qilmasligi kafolati.

Apple, Google va Microsoft bu talablarni qisman yoki to'liq bajargan deb hisoblanadi, qolgan operatorlar esa belgilangan muddat ichida moslashishga va'da bergan.

Bot turlari va boshqaruv variantlari

Cloudflare botlarni uchta asosiy xulq-atvor bo'yicha tasniflaydi:

• Search – qidiruv indeksini yaratish.
• Training – modelni o'rgatish yoki nozik sozlash.
• Agent – foydalanuvchi nomidan sahifani ko'rish, masalan chat botlari yoki brauzer agentlari.

Har bir xulq-atvor domen darajasida boshqariladi. Disallow AI Training faqat Training bo'limiga tatbiq etiladi, Search va Agent bo'limlariga ta'sir qilmaydi.

Amaliy ta'sir va kelajakda kutishlar

Yangi sozlama quyidagi amaliy natijalarni keltiradi:

• Sayt egasi robots.txt orqali AI treningini bloklashi mumkin, lekin qidiruv botlari sahifani indekslaydi.
• Mixed-use crawlers endi Accountable bo'lsa, ular avtomatik ravishda Disallow AI Training ni hurmat qiladi.
• Trening botlari (Amazon, Anthropic, Meta, OpenAI) to'liq bloklanadi, bu esa kontent egalarining maxfiylik va intellektual mulk huquqlarini himoya qiladi.
• Sayt egalariga Radar paneli orqali har bir operatorning harakatlari haqida hisobot olish imkoniyati beriladi.

Kelgusi yilda Cloudflare AI xulosalarini (summaries) ham boshqarish imkoniyatini qo'shadi, bu esa kontentning qaysi qismi AI modeliga kirishini yanada aniqroq nazorat qilishga yordam beradi.

Xulosa

Cloudflare ning Disallow AI Training sozlamasi internet sahifalarini qidiruvda ko'rinishini yo'qotmasdan, AI treningidan himoya qilishni ta'minlaydi. Bu yondashuv bot operatorlari orasida yanada oshkoralik va mas'uliyatni rag'batlantiradi, kontent egalariga yanada nozik nazorat imkonini beradi. Texnologik infratuzilma darajasida bunday standartlar kelajakda ko'proq platformalarda qo'llanilishi kutilmoqda.

Manba: Cloudflare blog

Asl manba: blog.cloudflare.com