Ollaya: Open-Source Platform for Local Decision Models

Ollaya — bu ochiq manbali platforma boʻlib, foydalanuvchilarning savollariga tez javob beradigan qaror modellarini mahalliy tarzda ishga tushirish imkonini beradi. Bu platforma foydalanuvchilarning matn yoki JSON ma'lumotlariga savollar berishlari va millisekundlar ichida kalibrlangan javoblarni olishlari mumkin.

Tezlik va Samaradorlik

Ollaya qaror modellarini ishlatish uchun bir necha millisekundlar kerak boʻladi. Bu platforma foydalanuvchilarning savollariga bir necha millisekundlar ichida javob berish imkonini beradi. Masalan, RTX 4090 grafik kartasi bilan beshta savolga javob olish taxminan 8-10 millisekund davom etadi.

ollaya run laya --preset triage \

Tizimga Kirish va Qo'llab-Quvvatlash

Ollaya TypeSafe API bilan mos keladi, bu esa foydalanuvchilarning mavjud dasturiy ta'minotini o'zgartirmasdan platformani ishlatish imkonini beradi. Platforma /v1/systemone va /v1/models endpointlarini taqdim etadi, bu esa TypeSafe API bilan mos keladi.

Foydalanuvchilar Ollaya serveriga TypeSafe SDK yordamida bog'lanishi mumkin. Bundan tashqari, ular API endpointlariga to'g'ridan-to'g'ri murojaat qilishlari ham mumkin.

"I was charged twice this month and want a refund."

Ochiq Model va Xavfsizlik

Ollaya ochiq modellarni taqdim etadi, bu esa foydalanuvchilarning ma'lumotlarini xavfsiz saqlash imkonini beradi. Platforma foydalanuvchilarning ma'lumotlarini mahalliy tarzda ishlatadi, bu esa ularga xavfsizlikni ta'minlaydi.

Ollaya ochiq modellarni taqdim etadi, bu esa foydalanuvchilarning ma'lumotlarini xavfsiz saqlash imkonini beradi. Platforma foydalanuvchilarning ma'lumotlarini mahalliy tarzda ishlatadi, bu esa ularga xavfsizlikni ta'minlaydi.

# Point the TypeSafe SDK at Ollaya
export TYPESAFE_BASE_URL=http://localhost:11435
export TYPESAFE_API_KEY=local        # any value works
export TYPESAFE_DEFAULT_MODEL=laya

# …or call the compatible endpoint directly
curl http://localhost:11435/v1/systemone -d '{
    "model": "laya",
    "state": "Can I get an invoice for last month?",
    "questions": {
      "intent": {
        "type": "choice",
        "instructions": "What does the customer want?",
        "criteria": {
          "invoice": "Needs an invoice or receipt",
          "refund": "Wants money back",
          "other": "Anything else"
        }
      }
    }
  }'

Platforma Qo'llab-Quvvatlash

Ollaya macOS, Windows, Linux va Docker uchun qo'llab-quvvatlanadi. Platforma CPU yoki NVIDIA GPU-da ishlay oladi. Foydalanuvchilar platformani bir necha daqiqada ishga tushira oladilar.

Ollaya platformasi Apache-2.0 litsenziyasi ostida taqdim etiladi va GitHub-da mavjud.

{
  "model": "laya:en",
  "answers": {
    "intent": {
      "type": "choice",
      "choice": "invoice",
      "confidence": 0.9547,
      "probabilities": {
        "invoice": 0.9698,
        "refund": 0.0172,
        "other": 0.013
      }
    }
  },
  "usage": {
    "input_tokens": 43,
    "output_tokens": 0
  }
}

Ollaya platformasi foydalanuvchilarning savollariga tez javob beradigan qaror modellarini mahalliy tarzda ishlatish imkonini beradi. Bu platforma ochiq manbali va xavfsiz bo'lib, foydalanuvchilarning ma'lumotlarini xavfsiz saqlash imkonini beradi.

Asl manba: ollaya.dev