Back to explore

Jev enruta turnos del agente de voz en ~100ms

Un desarrollador comparte que su agente de voz esperaba segundos por turno al ejecutar Qwen3 en una 4090; al usar Jev para decisiones de elección/verdadero-falso/puntuación, enruta cada turno en ~100ms y solo activa la GPU cuando realmente se necesita razonamiento.

Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.

Jev enruta turnos del agente de voz en ~100ms 1
· 0 likesOpen on X