Back to explore

Jev instrada i turni dell'agente vocale in ~100ms

Uno sviluppatore condivide che il suo agente vocale aspettava secondi per turno eseguendo Qwen3 su una 4090; usando Jev per decisioni scelta/vero-falso/punteggio, instrada ogni turno in ~100ms e attiva la GPU solo quando serve davvero il ragionamento.

Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.

Jev instrada i turni dell'agente vocale in ~100ms 1
· 0 likesOpen on X