Back to explore

Jev يوجّه دورات وكيل الصوت في ~100 مللي ثانية

يشارك مطور أن وكيل الصوت لديه كان ينتظر ثوانٍ في كل دورة عند تشغيل Qwen3 على 4090؛ وباستخدام Jev لقرارات الاختيار/صحيح-خطأ/التقييم، يوجّه كل دورة في ~100 مللي ثانية ولا يشغّل GPU إلا عند الحاجة الفعلية للاستدلال.

Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.

Jev يوجّه دورات وكيل الصوت في ~100 مللي ثانية 1
· 0 likesOpen on X