Back to explore

Jev กำหนดเส้นทางเทิร์นของเอเจนต์เสียงใน ~100ms

นักพัฒนารายหนึ่งแชร์ว่าเอเจนต์เสียงของเขารอหลายวินาทีต่อเทิร์นเมื่อรัน Qwen3 บน 4090; เมื่อใช้ Jev ตัดสินใจเลือก/จริง-เท็จ/คะแนน แต่ละเทิร์นถูกกำหนดเส้นทางใน ~100ms และใช้ GPU เฉพาะเมื่อจำเป็นต้องใช้เหตุผลจริง ๆ

Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.

Jev กำหนดเส้นทางเทิร์นของเอเจนต์เสียงใน ~100ms 1
· 0 likesOpen on X