FLock.io publie un test de précision de 68 questions enregistré par un tiers : le modèle THIS/THAT 1.0 de FLock obtient 94,1 %, tandis que Jev (service System One hébergé) atteint 76,5 %. La publication y voit un résultat prometteur pour un modèle de décision spécialisé, tout en notant que les tâches complexes nécessitant une recherche de graphe ou une arithmétique multi-étapes restent difficiles.
In a test of 68 questions recorded by a third party for accuracy: - FLock's THIS / THAT Model 1.0: 94.1% - Jev (hosted System One service): 76.5% A promising result for a specialised decision model. Complex tasks requiring graph search or multi-step arithmetic remain
Malte Ubl a testé Jev de TypeSafe AI sur une évaluation de classifieur existante : il a saturé l'évaluation en qualité et a été 6 fois plus rapide que Gemini 2.5 Flash Lite.
L'auteur a publié une extension DuckDB qui utilise Jev de TypeSafe AI pour classer rapidement des lignes dans des fichiers CSV/Parquet ou des tables DuckDB, environ 10 secondes pour 1k lignes, plus rapide qu'un LLM et plus ergonomique qu'un classifieur.
L'auteur a résumé chaque article avec DeepSeek V4 Flash, puis a envoyé le titre, le résumé et 24 sujets candidats à Jev pour classification, traitant 1 018 articles d'IA pour un coût total de 0,08 $ et une latence médiane de 256 ms par article.
