MaxxBench: Kodlash Agentlarining Adaptatsiya va Generalizatsiya Qobiliyatini Sinovdan O'tkazish

Kodlash agentlarining adaptatsiya va generalizatsiya qobiliyatini sinovdan o'tkazish uchun yangi MaxxBench usuli taqdim etildi. Bu usul agentlarning yangi talablarga moslashish qobiliyatini tekshiradi.

MaxxBench: Kodlash Agentlarini Sinovdan O'tkazish

MaxxBench usuli kodlash agentlarining adaptatsiya va generalizatsiya qobiliyatini tekshirish uchun mo'ljallangan. Bu usul agentlarning yangi talablarga moslashish qobiliyatini tekshiradi. MaxxBench usuli 89 ta DeepSWE vazifalarini o'zgartiradi, agentlarga yangi talablarga moslashish imkonini beradi.

// (skips parent singletons already cached on root).

MaxxBench Metodologiyasi

MaxxBench usuli kodlash agentlarining adaptatsiya va generalizatsiya qobiliyatini tekshirish uchun mo'ljallangan. Bu usul agentlarning yangi talablarga moslashish qobiliyatini tekshiradi. MaxxBench usuli 89 ta DeepSWE vazifalarini o'zgartiradi, agentlarga yangi talablarga moslashish imkonini beradi.

cursor.execute(query := request.args['query'])

MaxxBench usuli kodlash agentlarining adaptatsiya va generalizatsiya qobiliyatini tekshirish uchun mo'ljallangan. Bu usul agentlarning yangi talablarga moslashish qobiliyatini tekshiradi. MaxxBench usuli 89 ta DeepSWE vazifalarini o'zgartiradi, agentlarga yangi talablarga moslashish imkonini beradi.

static sanitizeLauncherName(name) {
    if (name === null || name === undefined) {
      return 'unknown';
    }

    return String(name)
      .replace(/[/\\:*?"<>|()]/g, '_')
      .replace(/\s+/g, '_')
      .toLowerCase();
  }

MaxxBench Natijalari

MaxxBench usuli kodlash agentlarining adaptatsiya va generalizatsiya qobiliyatini tekshirish uchun mo'ljallangan. Bu usul agentlarning yangi talablarga moslashish qobiliyatini tekshiradi. MaxxBench usuli 89 ta DeepSWE vazifalarini o'zgartiradi, agentlarga yangi talablarga moslashish imkonini beradi.

static sanitizeLauncherName(launcher) {
    if (launcher === null || typeof launcher === 'undefined') {
      return 'unknown';
    }

    return String(launcher)
      .replace(/[\\/:*?"<>|()]/g, '_')
      .replace(/\s+/g, '_');
  }

MaxxBench usuli kodlash agentlarining adaptatsiya va generalizatsiya qobiliyatini tekshirish uchun mo'ljallangan. Bu usul agentlarning yangi talablarga moslashish qobiliyatini tekshiradi. MaxxBench usuli 89 ta DeepSWE vazifalarini o'zgartiradi, agentlarga yangi talablarga moslashish imkonini beradi.

git apply /tmp/agent-src.patch

MaxxBench: Kodlash Agentlarini Sinovdan O'tkazish

MaxxBench usuli kodlash agentlarining adaptatsiya va generalizatsiya qobiliyatini tekshirish uchun mo'ljallangan. Bu usul agentlarning yangi talablarga moslashish qobiliyatini tekshiradi. MaxxBench usuli 89 ta DeepSWE vazifalarini o'zgartiradi, agentlarga yangi talablarga moslashish imkonini beradi.

AssertionError expected 'reports/Chrome.xml' to equal 'reports/chrome.xml'

MaxxBench usuli kodlash agentlarining adaptatsiya va generalizatsiya qobiliyatini tekshirish uchun mo'ljallangan. Bu usul agentlarning yangi talablarga moslashish qobiliyatini tekshiradi. MaxxBench usuli 89 ta DeepSWE vazifalarini o'zgartiradi, agentlarga yangi talablarga moslashish imkonini beradi.

expect(forOf.left.kind).toBe('using');
expect(forOf.left.declarations[0].id.name).toBe('of');

MaxxBench usuli kodlash agentlarining adaptatsiya va generalizatsiya qobiliyatini tekshirish uchun mo'ljallangan. Bu usul agentlarning yangi talablarga moslashish qobiliyatini tekshiradi. MaxxBench usuli 89 ta DeepSWE vazifalarini o'zgartiradi, agentlarga yangi talablarga moslashish imkonini beradi.

// [lookahead != using of]
left:  Identifier (name: "using")
right: MemberExpression ("of[1, 2]")

Asl manba: maxxbench.unlap.ai