Malte Ubl a testé Jev de TypeSafe AI sur une évaluation de classifieur existante : il a saturé l'évaluation en qualité et a été 6 fois plus rapide que Gemini 2.5 Flash Lite.
Ran @typesafeai's Jev against an existing classifier eval that previously used Gemini 2.5 Flash Lite. It won both on quality (saturated the eval) and speed (6x)
L'auteur a publié une extension DuckDB qui utilise Jev de TypeSafe AI pour classer rapidement des lignes dans des fichiers CSV/Parquet ou des tables DuckDB, environ 10 secondes pour 1k lignes, plus rapide qu'un LLM et plus ergonomique qu'un classifieur.
L'auteur a résumé chaque article avec DeepSeek V4 Flash, puis a envoyé le titre, le résumé et 24 sujets candidats à Jev pour classification, traitant 1 018 articles d'IA pour un coût total de 0,08 $ et une latence médiane de 256 ms par article.
L'auteur a construit un système qui envoie 12 questions via l'API Jev à chacune des 150 personas fictives pour interroger leur intention d'adoption du produit. Le coût réel était de 1,8 yen et le temps pris d'environ 5 secondes ; c'est suffisamment rapide, mais cela inclut la latence.
