L'auteur a passé une semaine à mesurer Jev : 18 000 jugements sur une spécification HTTP complète pour 8 cents, puis a annoté manuellement 59 phrases pour vérifier si les probabilités ont un sens. Chaque intervalle est resté en dessous de sa prédiction.
Everyone posted a Jev demo last week. I spent the week measuring it instead. 18,000 judgments across a full HTTP spec. 8 cents. Then I hand labelled 59 sentences to check whether the probabilities mean anything. Every bucket came in below its prediction. 🧵
Malte Ubl a testé Jev de TypeSafe AI sur une évaluation de classifieur existante : il a saturé l'évaluation en qualité et a été 6 fois plus rapide que Gemini 2.5 Flash Lite.
L'auteur a publié une extension DuckDB qui utilise Jev de TypeSafe AI pour classer rapidement des lignes dans des fichiers CSV/Parquet ou des tables DuckDB, environ 10 secondes pour 1k lignes, plus rapide qu'un LLM et plus ergonomique qu'un classifieur.
L'auteur a résumé chaque article avec DeepSeek V4 Flash, puis a envoyé le titre, le résumé et 24 sujets candidats à Jev pour classification, traitant 1 018 articles d'IA pour un coût total de 0,08 $ et une latence médiane de 256 ms par article.
