Le post note que l'utilisation de Jev pour les Evals est acceptable, mais le véritable goulot d'étranglement est de tester les classificateurs par rapport aux étiquettes humaines, et non la méthode d'évaluation elle-même.
Using Jev for Evals is fine, but testing classifiers against human labels is the real bottleneck, not the evaluation method itself.
Malte Ubl a testé Jev de TypeSafe AI sur une évaluation de classifieur existante : il a saturé l'évaluation en qualité et a été 6 fois plus rapide que Gemini 2.5 Flash Lite.
L'auteur a publié une extension DuckDB qui utilise Jev de TypeSafe AI pour classer rapidement des lignes dans des fichiers CSV/Parquet ou des tables DuckDB, environ 10 secondes pour 1k lignes, plus rapide qu'un LLM et plus ergonomique qu'un classifieur.
L'auteur a résumé chaque article avec DeepSeek V4 Flash, puis a envoyé le titre, le résumé et 24 sujets candidats à Jev pour classification, traitant 1 018 articles d'IA pour un coût total de 0,08 $ et une latence médiane de 256 ms par article.
