Memdoor: Qwen3.8-27B Modeli Jamoasi Fable 5 ni LiveCodeBench Hard Da Mag'lub Etadi

Memdoor, dasturlash muammolarini hal qilish uchun mo'ljallangan ko'p agentli tizim, LiveCodeBench Hard testlarida Fable 5 modelini ortda qoldirdi. Bu yondashuv beshta Qwen3.8-27B modelidan iborat jamoani o'z ichiga oladi, har biri alohida vazifalarni bajaradi.

Memdoor Nima?

Memdoor — bu dasturlash muammolarini hal qilish uchun mo'ljallangan ko'p agentli tizim. U beshta alohida rolni o'z ichiga oladi: rejali, ikki ideator, hal qiluvchi va menejer. Har bir agent alohida kontekstdan boshlaydi va faqat disklardagi fayllar orqali aloqa qiladi.

curl -fsSL https://memdoor.ai/install.sh | bash
memdoor connect openrouter                 # or anthropic, openai, gemini, chatgpt
git clone --depth 1 https://github.com/guregodevo/memdoor

mkdir -p ~/.memdoor/workflows
cp -r memdoor/examples/workflows/team-solve ~/.memdoor/workflows/   # the library: any project sees it
mkdir my-problem && cd my-problem
cp -r ../memdoor/examples/workflows/team-solve/sample/* .          # task.md + tests/1.in … 5.out
memdoor workflow run team-solve --wait   # progress on stderr, exit 0 when every sample passes

Qanday Ishlaydi?

Memdoor ish o'tkazish tizimi shunday tuzilganki, har bir agent alohida vazifalarni bajaradi. Rejali agent dasturiy muammolarni hal qilish uchun rejani tuzadi, ideatorlar esa turli yechimlarni taklif qiladi. Hal qiluvchi agent bu takliflarni sinab ko'radi, menejer esa jarayonni nazorat qiladi. Agar kerak bo'lsa, tahrirlovchi agent muammolarni to'g'rilaydi.

Bu yondashuvning muhim jihati shundaki, muvaffaqiyat shell skripti tomonidan aniqlanadi, model emas. Bu shuni anglatadiki, jarayon obyektiv va modelning o'zgaruvchanligi bilan bog'liq bo'lmagan.

Natijalar

Memdoor ish o'tkazish tizimi Qwen3.8-27B modeli bilan LiveCodeBench Hard testlarida 9.8 ball (10 balldan) oldi. Bu natija Fable 5 modelining 8.0 ballidan yuqori. Memdoor tizimi mualliflarning o'zlari tomonidan ishlab chiqilgan harnessdan ham yuqori natijalarni berdi.

plan ──┬── ideate-a ──┬── solve ── test ── review ── repair ── verify
       └── ideate-b ──┘

Memdoor tizimi beshta o'tkazishda 10 ta dasturlash muammosini hal qildi. Har bir o'tkazishda muvaffaqiyat darajasi 10 dan 9 gacha o'zgarib turdi. Bu natijalar Memdoor tizimining yuqori samaradorligini isbotlaydi.

Qanday Qurilgan?

Memdoor tizimi mualliflarning aniq takliflariga asoslangan. Ushbu tizim Qwen3.8-27B modeli bilan qayta qurilgan va 128K javob chekloviga ega. Har bir o'tkazishda dasturiy muammolarni hal qilish uchun turli agentlar ishtirok etadi.

Memdoor tizimi har bir o'tkazishni to'liq yozib oladi, har bir so'rov va javobni, dasturiy kodni, baholovchi chiqishini, har bir chaqiruvning narxini va xostni saqlaydi. Bu ma'lumotlar tizimning obyektivligini ta'minlaydi.

type: command
requires:
  - table_pattern: repair
command: |
  check=.memdoor/workflows/team-solve/check-samples.sh
  [ -f "$check" ] || check="$HOME/.memdoor/workflows/team-solve/check-samples.sh"
  bash "$check" > final-test-output.log 2>&1
  result=$?
  cat final-test-output.log
  exit "$result"

Qanday Qurish?

Memdoor tizimini o'rnatish va foydalanish juda oddiy. Quyidagi komandalar yordamida tizimni o'rnatish mumkin:

• curl -fsSL https://memdoor.ai/install.sh | bash
• memdoor connect openrouter
• git clone --depth 1 https://github.com/guregodevo/memdoor
• mkdir -p ~/.memdoor/workflows
• cp -r memdoor/examples/workflows/team-solve ~/.memdoor/workflows/
• mkdir my-problem && cd my-problem
• cp -r ../memdoor/examples/workflows/team-solve/sample/* .
• memdoor workflow run team-solve --wait

Bu komandalar yordamida Memdoor tizimini o'rnatish va foydalanish mumkin. Tizimning barcha ma'lumotlari memdoor tui orqali ko'rinadi.

Xulosa

Memdoor ish o'tkazish tizimi dasturlash muammolarini hal qilishda yangi imkoniyatlarni ochdi. Bu tizim Qwen3.8-27B modeli bilan LiveCodeBench Hard testlarida Fable 5 modelini ortda qoldirdi. Memdoor tizimi obyektiv va samarador bo'lib, dasturlash muammolarini hal qilishda yuqori natijalarni beradi.

Asl manba: github.com