Back to explore

Jev routeert beurten van spraakagent in ~100ms

Een ontwikkelaar deelt dat zijn spraakagent seconden per beurt wachtte bij het draaien van Qwen3 op een 4090; met Jev voor keuze/waar-onwaar/score-beslissingen routeert hij elke beurt in ~100ms en gebruikt de GPU alleen wanneer redeneren echt nodig is.

Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.

Jev routeert beurten van spraakagent in ~100ms 1
· 0 likesOpen on X