Verify, Then Vote: Yangi Modelni Tekshirish Usuli

Grainulation jamoasi beshta lokal modelni bir xil savollar bilan sinovdan o'tkazdi va javoblarni tekshirish orqali to'g'rilash usulini taklif qildi. Bu usul modellarning xatolarini kamaytirishga yordam beradi.

Bir nechta modelning kelishmovchiligi

Jamoa beshta lokal modelni bir xil savollar bilan sinovdan o'tkazdi. Modellarning javoblari tez-tez kelishmovchilikka uchradi. Ular bu muammoni hal qilish uchun o'zlarining manbalarini tekshirish usulini taklif qildi. Bu usul "Verify, Then Vote" deb nomlandi.

Jamoa modellarning javoblarini tekshirish va tanlash jarayonini alohida bosqichlar sifatida ajratdi. Bu usul modellarning xatolarini kamaytirishga yordam beradi.

Model va tekshiruvchi

Jamoa Llama 3.2 3B, Mistral 7B, Gemma 2 2B, Phi-3 mini va Qwen 2.5 3B modellarini ishlatdi. Ular Apple M3 Pro qurilmasida 36 GB RAM bilan ishladi. Bu jarayon taxminan sakkiz soat davom etdi.

Har bir model savol uchun qidiruv so'rovini yozdi va beshta ma'lumot parchalarini oldi. Ular javobni berdi, ishonch darajasini aytdi va manbalarni keltirdi. Jamoa barcha natijalarni saqlab qoldi.

Manbalarni tekshirish uchun Claude Sonnet 5.5 modelini ishlatdi. U faqat javob va manba parchasini ko'rdi va ularning o'xshashligini tekshirdi. Bu usul modellarning xatolarini kamaytirishga yordam beradi.

Manbalarni tekshirishning cheklovlari

Tekshiruvchi faqat manba parchasi javobni qo'llab-quvvatlaydimi yoki rad etadimi, degan savolga javob beradi. U manba parchasining to'g'riligini tekshirmaydi.

Jamoa modellarning javoblarini tekshirish uchun bir qator qoidalarni belgilab qoldi. Ular javoblarni tanlash uchun ovoz berish usulini ishlatdilar. Agar manba parchasi javobni qo'llab-quvvatlasa, javob o'zgaradi.

Jamoa bu qoidalarni Lean 4 dasturiy ta'minotini ishlatib tekshirdi. Ular qoidalarni takomillashtirish uchun bir nechta sinovlarni o'tkazdilar.

Natijalar va takomillashtirishlar

Jamoa 1000 ta savol uchun sinovlarni o'tkazdi. Natijalar shuni ko'rsatdiki, to'g'rilash usuli aniqlikni 77.1% dan 85.0% gacha oshirdi.

Jamoa modellarning javoblarini tekshirish uchun bir nechta sinovlarni o'tkazdilar. Ular manba parchalarini olib tashlash yoki almashtirish orqali tekshiruvchi modelning ishonchligini tekshirdilar. Natijalar shuni ko'rsatdiki, manba parchalarining ahamiyati yuqori.

Jamoa bu natijalar asosida qoidalarni takomillashtirdi. Ular yangi modellarni ishlatib, sinovlarni qayta o'tkazdilar. Natijalar shuni ko'rsatdiki, takomillashtirilgan qoidalar aniqlikni oshirdi.

Sonnet modeli bilan taqqoslash

Jamoa Sonnet modelini ishlatib, javoblarni tanlash usulini sinab ko'rdilar. Sonnet modeli 93.9% aniqlik bilan javoblarni tanladi. Bu usul arzonroq ham edi.

Jamoa bu natijalar asosida, Sonnet modeli birinchi javobni tanlashda yaxshi ishlaydi, deb xulosaga keldi. Ularning usuli esa javoblarni tekshirish va tanlash jarayonini takomillashtirishga yordam beradi.

Qarorlarni qayta o'tkazish

Jamoa modellarning javoblarini qayta o'tkazish usulini taklif qildi. Ular bu usulni 1100 ta savol uchun sinab ko'rdilar. Natijalar shuni ko'rsatdiki, bu usul javoblarni tanlash jarayonini takomillashtirishga yordam beradi.

Jamoa bu usulni ishlatib, modellarning javoblarini qayta o'tkazish uchun bir nechta sinovlarni o'tkazdilar. Natijalar shuni ko'rsatdiki, bu usul javoblarni tanlash jarayonini takomillashtirishga yordam beradi.

Bu usul modellarning javoblarini tekshirish va tanlash jarayonini alohida bosqichlar sifatida ajratadi. Bu usul modellarning xatolarini kamaytirishga yordam beradi.

Asl manba: blog.grainulation.org