PS5LM: Jailbroken PS5-da har qanday GGUF modelini o'zingizda ishlatish

PS5LM — bu jailbroken PS5-da o'zingizda xususiy model serverini ishga tushirish imkoniyatini beruvchi yangi texnologiya. Bu ilova konsolning GPU-sini foydalanib, har qanday GGUF modelini yuklab, ularni kompyuter, telefon va dasturlash vositalariga taqdim etadi.

Nima uchun bu muhim?

PS5LM bilan foydalanuvchilar o'zingizda xususiy model serverini ishga tushirishi mumkin. Bu ilova konsolning GPU-sini foydalanib, har qanday GGUF modelini yuklab, ularni kompyuter, telefon va dasturlash vositalariga taqdim etadi. Bu texnologiya foydalanuvchilar uchun turli xil modellarni o'zingizda ishlatish imkoniyatini beradi.

Texnik tafsilotlar

PS5LM llama.cpp va Vulkan backend dan foydalanib, konsolning GPU-sini ishlatadi. Bu ilova 11.4 GB o'ramli xotirani model va uning kontekstiga ajratadi. PS5LM har qanday arxitektura va kvantizatsiyani qo'llab-quvvatlaydi.

Qanday ishlaydi?

PS5LM konsolning GPU-sini ishlatib, turli xil modellarni yuklaydi va ularni tarmoqqa taqdim etadi. Bu ilova OpenAI va Anthropic API-larini qo'llab-quvvatlaydi va har qanday brauzerda chat sahifasini ochish imkoniyatini beradi. Foydalanuvchilar konsolga http://:8081 manziliga murojaat qilib, yuklangan modelni ishlatishlari mumkin.

PS5LM, shuningdek, qaror modellarini yuklab, konsolga turli xil savollarni berish imkoniyatini beradi. Bu ilova konsolning haroratini, quvvatini, GPU va CPU yukini kuzatib boradi va bu ma'lumotlarni grafik shaklida ko'rsatadi.

Foydalanish

PS5LM foydalanuvchilar uchun turli xil modellarni o'zingizda ishlatish imkoniyatini beradi. Bu ilova konsolning GPU-sini ishlatib, turli xil modellarni yuklaydi va ularni tarmoqqa taqdim etadi. PS5LM, shuningdek, qaror modellarini yuklab, konsolga turli xil savollarni berish imkoniyatini beradi.

Quyidagi modellarni qo'llab-quvvatlaydi

• Qwen 3.5 0.8B, Q4_K_M: 0.5 GB, 207 token/sekund
• Qwen 3.5 9B, Q4_K_M: 5.3 GB, 55 token/sekund
• Qwen 3.8 27B, UD-Q2_K_XL: 9.2 GB, taxminan 20 token/sekund, 64k kontekst
• d1 Omni 600M, qaror modeli: 1.1 GB, 3 savol 0.3 soniyada; 720p rasm va 7 savol 2.9 soniyada

Qanday o'rnatish?

PS5LM o'rnatish uchun jailbroken PS5 talab qilinadi. Foydalanuvchilar ps5lm-app-vX.Y.Z.zip faylini yuklab, unzip qilishlari va PPSA99575 papkasini /data/homebrew ga FTP orqali ko'chirishlari kerak. ShadowMountPlus PS5LM ni bosh sahifaga qo'shadi.

O'rnatish jarayoni quyidagicha:

• ps5lm-app-vX.Y.Z.zip faylini yuklab, unzip qilish
• PPSA99575 papkasini /data/homebrew ga FTP orqali ko'chirish
• PS5LM ni ochish va Models > Suggested bo'limidan model yuklash
• Yoki .gguf faylini /data/PS5LM/models yoki PS5LM/models USB diski ga ko'chirish
• Modelni yuklash va http://:8081 manziliga murojaat qilish

PS5LM ni yangilash uchun yangi papkani eski papkaga ko'chirish kerak. Sozlamalar, model va yuklab olingan fayllar /data/PS5LM papkasida saqlanadi.

curl http://<console>:8081/v1/systemone -H 'Content-Type: application/json' -d '{
  "state": "I was charged twice this month. Refund me or I cancel.",
  "questions": {
    "intent": {"type": "choice", "instructions": "What does the customer want?",
               "criteria": {"refund": null, "information": null, "cancel": null}},
    "angry":  {"type": "noul", "instructions": "Is the customer angry?"}
  }
}'

Xulosa

PS5LM jailbroken PS5-da o'zingizda xususiy model serverini ishga tushirish imkoniyatini beruvchi yangi texnologiya. Bu ilova konsolning GPU-sini foydalanib, har qanday GGUF modelini yuklab, ularni kompyuter, telefon va dasturlash vositalariga taqdim etadi. PS5LM foydalanuvchilar uchun turli xil modellarni o'zingizda ishlatish imkoniyatini beradi.

Asl manba: github.com