TabPFN va TabICL: Tuned XGBoostdan ustunlikni qanday erishdilar

TabPFN va TabICL tabular foundation modellarining XGBoostdan ustunliklarini 14 ta datasetda sinab ko'rildi. Natijalar shuni ko'rsatdiki, bu modellar hech qachon o'rgatilmagan bo'lsa-da, tunlangan XGBoostdan ustunlikka erishdilar.

Tabular Foundation Modellarning Asosi

Tabular foundation modellar millionlab sintetik jadvallar bilan oldindan o'rgatiladi. Yangi jadval kelganda, ular hech qanday vaznni o'zgartirmaydi: ular o'rgatish qatorlarini kontekst sifatida qabul qilishadi va bir marta oldinga o'tish orqali bashoratlarni ishlab chiqaradilar.

Bu in-context learning gʻoyasi til modellarida so'zlardan stulblarga koʻchirilgan. Shu sababli, “oʻrgatish” soʻzi notoʻgʻri tushuniladi: kod hali ham uni fit deb ataydi, ammo ichida gradient descent emas, maʼlumotning kartaga nusxalanishi bor.

Shu sababli ham xarajatlar kutilgan joyda paydo boʻladi. Fitlash deyarli bepul va bashoratlar esa pul to'laydi, bu daraxtning aksincha.

Sinovlar va Natijalar

Sinovlar 14 ta datasetda oʻtkazildi. Har bir dataset uchun TabICL, TabPFN va tunlangan XGBoost modellarini solishtirdilar. Natijalar shuni koʻrsatdiki, TabICL va TabPFN modellarining 14 ta datasetdan 14 tasida ustunlikka erishdi.

Misollar

Quyidagi misollar TabICL va TabPFN modellarining ishlashini ko'rsatadi:

• Kredit so'rovi: 200 ta oldingi so'rovlar asosida yangi kredit so'rovi uchun bashorat berildi. Natijalar AUC 0.8528 ni koʻrsatdi.
• Bank marketing: 200 ta oldingi qorong'ulardan yangi kontakt uchun bashorat berildi. Natijalar AUC 0.8699 ni koʻrsatdi.
• Klinik qayta qabul qilish: 200 ta oldingi bo'limlardan yangi bemor uchun qayta qabul qilish ehtimolini bashorat qildi. Natijalar AUC 0.6484 ni koʻrsatdi.
• Jinoiy ish baholash: 200 ta oldingi ishlar asosida yangi ish uchun qayta jinoyat qilish ehtimolini bashorat qildi. Natijalar AUC 0.7329 ni koʻrsatdi.
• Bozor davri yopilishi: 200 ta oldingi davrlardan yangi bozor davri uchun narx oshishi yoki pasayishi haqida bashorat berildi. Natijalar AUC 0.8873 ni koʻrsatdi.
• Biologik javob: 200 ta oldingi molekularlar asosida yangi molekulaning biologik javobini bashorat qildi. Natijalar AUC 0.8667 ni koʻrsatdi.

Natijalar va Tahlillar

TabPFN va TabICL modellarining XGBoostdan ustunlikka erishishi bir nechta sabablarga bog'liq. Bu modellar millionlab sintetik jadvallar bilan oldindan o'rgatilganligi sababli, ular yangi jadvallar uchun hech qanday o'rgatish talab qilmaydi. Bu esa ularni tezroq va samaraliroq qilishga imkon beradi.

Shuningdek, bu modellar in-context learning gʻoyasidan foydalanadilar, bu esa ular uchun kontekstni qabul qilish va bashoratlarni ishlab chiqarishni osonlashtiradi. Bu esa ularning XGBoostdan ustunlikka erishishiga yordam beradi.

2.13.0+cu130   driver 570.144   torch.cuda.is_available() → False

Natijalar shuni koʻrsatdiki, TabPFN va TabICL modellarining XGBoostdan ustunlikka erishishi bir nechta sabablarga bog'liq. Bu modellar millionlab sintetik jadvallar bilan oldindan o'rgatilganligi sababli, ular yangi jadvallar uchun hech qanday o'rgatish talab qilmaydi. Bu esa ularni tezroq va samaraliroq qilishga imkon beradi.

pip install --no-cache-dir \
  --index-url https://download.pytorch.org/whl/cu128 torch==2.9.1+cu128

Shuningdek, bu modellar in-context learning gʻoyasidan foydalanadilar, bu esa ular uchun kontekstni qabul qilish va bashoratlarni ishlab chiqarishni osonlashtiradi. Bu esa ularning XGBoostdan ustunlikka erishishiga yordam beradi.

TabPFN va TabICL modellarining XGBoostdan ustunlikka erishishi bir nechta sabablarga bog'liq. Bu modellar millionlab sintetik jadvallar bilan oldindan o'rgatilganligi sababli, ular yangi jadvallar uchun hech qanday o'rgatish talab qilmaydi. Bu esa ularni tezroq va samaraliroq qilishga imkon beradi.

Shuningdek, bu modellar in-context learning gʻoyasidan foydalanadilar, bu esa ular uchun kontekstni qabul qilish va bashoratlarni ishlab chiqarishni osonlashtiradi. Bu esa ularning XGBoostdan ustunlikka erishishiga yordam beradi.

Asl manba: efraingaray.com