Back to explore

Jevが音声エージェントの各ターンを約100msでルーティング

開発者の共有:4090でQwen3を動かす音声エージェントは毎ターン数秒待っていたが、Jevで選択・真偽・スコア判定を行うと各ターン約100msでルーティングでき、本当に推論が必要な時だけGPUを使う。

Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.

Jevが音声エージェントの各ターンを約100msでルーティング 1
· 0 likesOpen on X