Back to explore

Jev kieruje turami agenta głosowego w ~100ms

Deweloper dzieli się, że jego agent głosowy czekał sekundy na turę, uruchamiając Qwen3 na 4090; używając Jev do decyzji wybór/prawda-fałsz/ocena, kieruje każdą turę w ~100ms i uruchamia GPU tylko wtedy, gdy rozumowanie jest naprawdę potrzebne.

Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.

Jev kieruje turami agenta głosowego w ~100ms 1
· 0 likesOpen on X