Seorang pengembang berbagi bahwa agen suaranya menunggu beberapa detik per giliran saat menjalankan Qwen3 di 4090; dengan Jev untuk keputusan pilihan/benar-salah/skor, setiap giliran dirutekan dalam ~100ms dan GPU hanya aktif saat penalaran benar-benar dibutuhkan.
Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.
LLM menyimpan memori/konteks, menggunakan agent-desktop untuk mengambil snapshot dan mengirimkannya ke Jev, yang memilih elemen tepat untuk bertindak, mempercepat Computer Use dengan Cursor dan mode headless.
Riley Brown membagikan bahwa Jev dari TypeSafe AI mengklasifikasikan 500 email dalam hitungan detik hanya dengan 3,5 sen, menunjukkan klasifikasi email yang cepat dan murah.
Video penjelasan lengkap yang memperkenalkan Jev, AI yang tidak menulis teks tetapi menentukan ke departemen mana pertanyaan harus diarahkan dan seberapa mendesaknya.
