Docket: Agent-written Code Reviewing and Evidence Records
Docket — bu agent tomonidan yozilgan kodni har bir commit uchun dalillarni saqlaydigan yangi vosita. Bu vosita kodni tezroq tekshirish imkonini beradi.

Kod tahrirlash jarayonida AI modellarining rolini oshirish maqsadida, GPT-5.6 Luna va GPT-6 Astra modellarini taqqoslash amalga oshirildi. Luna modeli $0.20 million input token va $1.20 million output token narxida taklif etiladi, Astra esa $10 va $50 narxda. Ushbu taqqoslashda, Luna va Astra modellarining kod tahrirlashda qanday ishlashi va qanday natijalar berayotgani ko'rib chiqildi.
Taqqoslash natijalari shuni ko'rsatdiki, Luna 50 ta pull requestda 69 ta tasdiqlangan xatoni topdi, Astra esa 92 ta xatoni topdi. Luna modeli butun jarayon uchun $0.20, Astra esa $5.66 sarfladi. Luna xatolarni tasdiqlashda kamroq aniqlik ko'rsatdi, 24 ta topilishi tasdiqlanmadi, Astra esa faqat 4 ta topilishi tasdiqlanmadi. Luna 9 ta xavfsizlik xatosini topdi, Astra esa 19 ta xatoni topdi.
Taqqoslashda 50 ta jamoaviy kod bazasidan olingan pull requestlar ishlatildi. Luna va Astra modellariga bir xil so'rov berildi va ular bir xil kod o'zgarishlarini tahlil qilishdi. Luna modeli har bir tahrirda 23 soniya, Astra esa 36 soniya sarfladi. Luna 2104 ta output token, Astra esa 688 ta output token ishlab chiqardi.
Taqqoslash natijalari shuni ko'rsatdiki, Luna Astra bilan qiyosda 75% xatoni topdi, lekin 3.6% narxda. Tasdiqlangan har bir xatoni topish uchun Astra 20 marta qimmatroq chiqdi. Luna modeli tezroq ishladi va kamroq output token ishlab chiqardi, lekin aniqlik jihatidan Astra modeli ustun chiqdi.
Luna modeli Sentry, Discourse va Grafana kod bazalarida Astra bilan yaqin natijalar berdi. Cal.com va Keycloak kod bazalarida esa Astra modeli ustun chiqdi. Keycloak kod bazasida Luna faqat 50% aniqlik bilan ishladi, Astra esa 93% aniqlik bilan ishladi. Keycloak kod bazasida xavfsizlik va ruxsat berish logikasi o'zgarishlariga bog'liq bo'lgan xatolarni topishda Luna modeli kamroq natijalar berdi.
Luna modeli 25 ta xatoni topdi, Astra esa 48 ta xatoni topdi. 44 ta xatoni ikkalasi ham topdi. Luna modeli 16 ta ma'lumot va logika xatosini, 4 ta konkurrentlik xatosini topdi. Luna modeli 25 ta xatoni topdi, Astra esa topmadi. Ikki modelni birga ishlatish 117 ta xatoni topish mumkin edi, bu 82% tasdiqlangan xatolarni tashkil qiladi.
GPT-5.6 Luna va GPT-6 Astra modellarini kod tahrirlash uchun taqqoslash natijalari shuni ko'rsatdiki, Luna modeli kam narxda ham yaxshi natijalar beradi, lekin aniqlik jihatidan Astra modeli ustun chiqdi. Luna modeli tezroq ishlaydi va kamroq output token ishlab chiqardi, lekin xavfsizlik va ruxsat berish logikasi o'zgarishlariga bog'liq bo'lgan xatolarni topishda kamroq natijalar berdi. Ikki modelni birga ishlatish kod tahrirlash jarayonini yaxshilash uchun foydali bo'lishi mumkin.
Asl manba: entelligence.ai