Back to explore

Jev sesli ajan turlarını ~100ms'de yönlendiriyor

Bir geliştirici, 4090'da Qwen3 çalıştıran sesli ajanının tur başına saniyeler beklediğini paylaşıyor; seçim/doğru-yanlış/skor kararları için Jev kullanınca her tur ~100ms'de yönlendiriliyor ve GPU yalnızca gerçekten akıl yürütme gerektiğinde çalışıyor.

Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.

Jev sesli ajan turlarını ~100ms'de yönlendiriyor 1
· 0 likesOpen on X