Google EmbeddingGemma 2: Bir soat audio 13 soniyada transkripsiya qilinadi

Google EmbeddingGemma 2 modeli bir soatlik audio faylni 13 soniyada transkripsiya qilish imkoniyatiga ega. Bu texnologiya MacBook Air kabi qurilmalarda ishlaydi.

Google EmbeddingGemma 2: Qanday ishlaydi?

Google EmbeddingGemma 2 — bu multimodal embedding modeli boʻlib, matn, tasvirlar, audio va video maʼlumotlarini bir xil fazoda birlashtiradi. Bu modelni audio transkripsiya qilish uchun ishlatish mumkin. Modelning audio kodlaydigi qism oʻzgarishsiz qoladi, lekin kichik oʻquvchi qism har bir qisqa audio kesimini modelning matn fazosiga koʻchiradi. Eng yaqin 229 mingdan ortiq inglizcha soʻzlardan biriga toʻgʻri keladigan soʻz tanlanadi va audio kesimlari transkripsiyaga aylanadi. Bundan tashqari, kichik qoʻshimcha model belgilar va katta harflarni qoʻshadi.

Texnik tafsilotlar

Modelning oʻquvchi qismi faqat ochiq litsenziyalangan inglizcha nutq maʼlumotlariga asoslanib, taxminan ikki soat davomida 8×H100 qurilmasida oʻrgatiladi. Asosiy model hech qachon nutqdan matnga aylantirish uchun oʻrgatilmagan.

Tezkorlik

Google EmbeddingGemma Transcribe modeli MacBook Air (base M3, 8 GB) qurilmasida bir soatlik audio faylni 12,6 soniyada transkripsiya qilish imkoniyatiga ega. Bu tezlik IBM Granite Speech 5.0 TurboCTC modelidan ikki baravar tezroqdir.

• Embedding Gemma Transcribe: Neural Engine, base M3 MacBook Air, 8 GB — 288×1 soat 12,6 soniyada
• IBM Granite Speech 5.0 TurboCTC: GPU (MLX), base M3 MacBook Air, 8 GB — 150×1 soat 25,7 soniyada
• NVIDIA Parakeet TDT 0.6B v3 (FluidAudio): Neural Engine, M4 Pro — 156×
• NVIDIA Parakeet TDT 0.6B v3 (FluidAudio): Neural Engine, M5 Pro — 335×
• Phonon-2, a Parakeet v3 fine-tune (FluidAudio): Neural Engine, M5 Pro — 480×

Bu tezliklar faqat bir xil qurilmalarda oʻtkazilgan sinovlar asosida hisoblangan. Boshqa qurilmalarda tezliklar farq qilishi mumkin.

Qanday ishlatish mumkin?

Bu texnologiya audio faylni tushirish yoki Right Option tugmasini bosib, nutqni yozib olish imkoniyatini beradi. Barcha audio maʼlumotlari qurilmaning Neural Engine-da ishlaydi va qurilma tashqarisiga chiqmaydi.

Qaysi darajada?

Hozircha EmbeddingGemma Transcribe modelining soʻz xatosi darajasi taxminan 5% ni tashkil qiladi, bu esa yetakchi nutq modellarining 2-3% xatosidan yuqori. Ammo, modelni yaxshiroq oʻrgatish orqali bu xatolarni kamaytirish mumkin.

Asl manba: eg2.haku.sh