Flutter’da Edge‑Veda bilan 200 ms ichida on‑device AI: mobil ilovalarda maxfiy, barqaror intellekt

Mobil ilovalar uchun sunʼiy intellekt (AI) endi faqat bulutga bogʻliq bo‘lish shart emas. Edge‑Veda – Flutter platformasiga mo‘ljallangan, iPhone‑larda (Metal GPU) to‘liq on‑device AI ishga tushiruvchi runtime, matn, tasvir, nutq‑to‑matn, matn‑to‑nutq, hatto tasvir yaratish (stable‑diffusion) kabi funksiyalarni 200 ms dan kam kechikish bilan taqdim etadi.

Edge‑Veda nima va qanday ishlaydi?

Edge‑Veda – 22 700 + satrli C‑API, 40 ta funksiyadan iborat, 32 ta Dart faylidan tashkil topgan SDK. U LLM (katta til modellari), VLM (vizual til modellari) va STT/TTS (nutq‑to‑matn / matn‑to‑nutq) modellari uchun bir xil “supervisor” qatlamini yaratadi. Bu qatlam qurilmaning harorat, xotira va batareya holatini kuzatib, kerak bo‘lganda sifat darajasini pasaytiradi, shu bilan ilova 60 soniyadan ko‘proq barqaror ishlashini ta’minlaydi.

Asosiy xususiyatlari

• To‘liq maxfiylik – inference jarayonida hech qanday tarmoq chaqiruvlari yo‘q.
• Uzun muddatli sessiyalar – modellarning holati xotirada saqlanadi, 28 daqiqadan ortiq uzluksiz ishlashda xatoliklar yo‘q.
• Adaptiv budjet – p95 latency, batareya sarfi, issiqlik darajasi kabi cheklovlar oldindan belgilab, runtime avtomatik ravishda moslashadi.
• RAG (retrieval‑augmented generation) – matnni vektorli ko‘rinishga o‘tkazib, mahalliy indeksdan qidirish, so‘ngra LLM yordamida javob yaratish.
• Real‑vaqt STT/TTS – whisper.cpp modeli Metal GPU orqali 3 soniyalik audio bo‘laklarda transkripsiya, AVSpeechSynthesizer orqali nutqga aylantirish.
• On‑device tasvir yaratish – stable‑diffusion.cpp modeli yordamida matn tavsifi asosida rasmlar yaratish, har bir tasvir 30 soniya ichida tayyorlanadi.

Flutter dasturchilari uchun qulayliklar

Dart FFI sinxron bo‘lgani uchun, Edge‑Veda barcha inference ishlarini alohida isolate (fon jarayoni)da bajaradi, UI har doim javob beruvchi qoladi. Model bir marta yuklanadi, keyingi chaqiruvlarda xotirada qoladi, shu bilan start‑up vaqti sezilarli darajada qisqaradi.

SDK quyidagi asosiy sinflarni taqdim etadi:

• EdgeVeda – umumiy interfeys, generate(), embed() kabi metodlar.
• ChatSession – ko‘p turli suhbat, kontekstni avtomatik qisqartirish, asbob‑chaqiriqlar (tool calling).
• WhisperSession – jonli nutqni matnga aylantirish, so‘z‑bo‘yi voqealar.
• VisionWorker – kamera tasvirlarini tavsiflash.
• ImageWorker – matndan tasvir yaratish.
• RagPipeline – embedding, vektor indeks, so‘rov‑javob.

Qanday boshlash mumkin?

1️⃣ pubspec.yaml fayliga edge_veda: ^2.4.0 qo‘shing.
2️⃣ iOS qurilmasida Xcode 15+ o‘rnatilgan bo‘lishi kerak; dasturchi rejimi va Apple ID bilan qurilmani ro‘yxatdan o‘tkazing.
3️⃣ EdgeVeda() obyektini yarating, init() chaqiring va model yo‘lini ko‘rsating.
4️⃣ generateStream() yoki sendWithTools() yordamida matn, tasvir yoki nutqni ishlating.

Masalan, “Quantum computing” haqida qisqa tushuntirishni quyidagicha olish mumkin:

final edgeVeda = EdgeVeda();
await edgeVeda.init(EdgeVedaConfig(modelPath: 'llama.gguf'));
final response = await edgeVeda.generate('Explain quantum computing');
print(response.text);

Nega Edge‑Veda muhim?

Mobil qurilmalarda AI ishlatishning asosiy muammolari – issiqlik, xotira, batareya. Anʼanaviy yondashuvda ilova tezda to‘xtab qoladi yoki foydalanuvchi maxfiyligi xavf ostida bo‘ladi. Edge‑Veda bu muammolarni “runtime policy” orqali hal qiladi, shuningdek, kuzatuv (observability) loglari JSONL formatida saqlanadi, bu esa ishlab chiquvchilarga muammolarni tahlil qilishni osonlashtiradi.

Shuningdek, RAG va tool‑calling imkoniyatlari yordamida foydalanuvchi savollariga aniq, kontekstga asoslangan javoblar berish, shuningdek, “smart home” yoki “health advisor” kabi maxfiylik‑talab qiluvchi ilovalar yaratish mumkin.

Kelajakda nimalar kutish mumkin?

Hozirda Edge‑Veda faqat iOS platformasida mavjud, ammo Android qo‘llab‑quvvatlashi yo‘l xaritasida. Bundan tashqari, NPU/CoreML, LoRA adapterlari va Vulkan GPU uchun kengaytmalar rejalashtirilgan.

Yuqoridagi imkoniyatlar bilan Flutter‑dasturchilar on‑device AIni o‘z ilovalariga qo‘shib, foydalanuvchilarga tez, xavfsiz va maxfiylikni hurmat qiluvchi tajriba taqdim etishlari mumkin.