Back to explore

Jev roteia turnos do agente de voz em ~100ms

Um desenvolvedor compartilha que seu agente de voz esperava segundos por turno ao executar Qwen3 em uma 4090; usando Jev para decisões de escolha/verdadeiro-falso/pontuação, roteia cada turno em ~100ms e só aciona a GPU quando o raciocínio é realmente necessário.

Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.

Jev roteia turnos do agente de voz em ~100ms 1
· 0 likesOpen on X