Nel test dell'agente di valutazione di Ballet su 1.998 messaggi di supporto complessi, Jev è costato $0,095 e 110 secondi contro i $4,34 e 220 secondi di Claude Sonnet 5. Sonnet era circa 1 punto più accurato, ma Jev era 46 volte più economico.
Same 1,998 complex support messages. Same three questions. @typesafeai Jev: $0.095 and 110 seconds. @AnthropicAI Claude Sonnet 5: $4.34 and 220 seconds. Sonnet was about 1 point more accurate. Jev was 46× cheaper. That decision is what Ballet's evaluation agent does. It
L'autore condivide un'esperienza d'uso di Jev: all'inizio sembrava complicato, ma è diventato chiaro pensandolo come 'non lasciare che l'IA scriva il testo'. Prendendo la gestione delle richieste come esempio, l'approccio convenzionale affida tutto a GPT o Claude per l'analisi, mentre Jev adotta un approccio diverso.
Il prototipo usa l'IA per stimare esitazione o interesse dai movimenti del cursore o dall'indugio prima del clic, osservando il comportamento del cliente e integrando spiegazioni o suggerendo confronti.
L'autore ha creato una demo di assistenza clienti in tempo reale per e-commerce con Jev e gpt-live-1, che suggerisce istantaneamente prodotti consigliati in base al parlato dell'utente durante la conversazione, offrendo un'ottima esperienza.
