Lors du test de l'agent d'évaluation de Ballet sur 1 998 messages de support complexes, Jev a coûté 0,095 $ et 110 secondes contre 4,34 $ et 220 secondes pour Claude Sonnet 5. Sonnet était environ 1 point plus précis, mais Jev était 46 fois moins cher.
Same 1,998 complex support messages. Same three questions. @typesafeai Jev: $0.095 and 110 seconds. @AnthropicAI Claude Sonnet 5: $4.34 and 220 seconds. Sonnet was about 1 point more accurate. Jev was 46× cheaper. That decision is what Ballet's evaluation agent does. It
L'auteur partage un retour d'expérience sur Jev : cela semblait délicat au début, mais tout s'est éclairé en le comprenant comme « ne pas laisser l'IA écrire le texte ». En prenant le traitement des demandes comme exemple, l'approche classique consiste à tout confier à GPT ou Claude pour analyse, alors que Jev adopte une approche différente.
Le prototype utilise l'IA pour estimer l'hésitation ou l'intérêt à partir des mouvements du curseur ou de l'arrêt avant le clic, en observant le comportement du client et en complétant les explications ou en suggérant des comparaisons.
L'auteur a créé une démo de service client en temps réel pour le e-commerce avec Jev et gpt-live-1, qui suggère instantanément des produits recommandés en fonction de la parole de l'utilisateur pendant la conversation, offrant une excellente expérience.
