Back to explore

Jev định tuyến lượt của tác nhân thoại trong ~100ms

Một nhà phát triển chia sẻ rằng tác nhân thoại của họ chờ vài giây mỗi lượt khi chạy Qwen3 trên 4090; dùng Jev cho các quyết định chọn/đúng-sai/điểm, mỗi lượt được định tuyến trong ~100ms và GPU chỉ chạy khi thực sự cần suy luận.

Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.

Jev định tuyến lượt của tác nhân thoại trong ~100ms 1
· 0 likesOpen on X