En utvecklare delar att deras röstagent väntade sekunder per tur när de körde Qwen3 på ett 4090; med Jev för beslut val/sant-falskt/poäng dirigeras varje tur på ~100ms och GPU används bara när resonemang verkligen behövs.
Our voice agent runs Qwen3 on a 4090. Every turn waits seconds. Jev can't talk. It only decides: choice, true/false, score. Now Jev routes each turn in ~100ms. The GPU only fires when reasoning is truly needed. We spent months making inference faster. The fix: infer less.
LLM håller minne/kontext, använder agent-desktop för att ta ögonblicksbilder och skickar dem till Jev, som väljer rätt element att agera på, vilket snabbar upp Computer Use med Cursor och headless-läge.
Riley Brown delar att TypeSafe AI:s Jev klassificerade 500 e-postmeddelanden på sekunder för bara 3,5 cent, vilket visar snabb och kostnadseffektiv e-postklassificering.
Omfattande förklarande video som introducerar Jev, en AI som inte skriver text utan avgör vilken avdelning förfrågningar ska dirigeras till och hur brådskande de är.
