L'autore ha testato Jev su un benchmark di 1.565 e-mail aziendali in tedesco e inglese provenienti da fornitori industriali in 10 categorie, riscontrando una precisione inferiore a Gemini, ma si è concentrato su dove si verificano gli errori e intende comunque metterlo in produzione.
Jev lost to Gemini on our email classification benchmark. I’m still interested in putting it into production. We tested 1,565 German and English business emails across 10 categories from Industrial suppliers. The interesting result wasn’t accuracy. It was where the mistakes
Aaron Levie afferma che Jev aiuta gli agenti a prendere decisioni rapide in flussi di lavoro, classificazione dei dati e giudizi, con una demo Box e Jev che estrae un report di incidente da Box.
Fatih Yildiz afferma che Jev di TypeSafe AI è promettente per i casi d'uso dei modelli decisionali di osservabilità, notando che la latenza si accumula usando modelli frontier presso edge_delta per scoring di priorità operativa e routing di eventi, e sta testando Jev.
Un utente condivide JEV che elabora 100 minuti di colloquio fittizi: classificazione Pass/Hold/Pass, punteggio di competenze, comunicazione e motivazione, rilevamento di criticità in 12,8 secondi per 0,005 $.
