Back to explore

Jev route les tours de l'agent vocal en ~100ms

Un développeur partage que son agent vocal attendait des secondes par tour en exécutant Qwen3 sur une 4090 ; en utilisant Jev pour les décisions choix/vrai-faux/score, il route chaque tour en ~100ms et n'active le GPU que lorsque le raisonnement est vraiment nécessaire.

Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.

Jev route les tours de l'agent vocal en ~100ms 1
· 0 likesOpen on X