Créer un classificateur de base de code avec Jev
Un développeur partage la création d'un classificateur de base de code avec Jev, suggérant qu'il peut résoudre le code surconçu des agents, et demande quoi tester ensuite.
Jev détecte 6/7 défauts à 25x la vitesse
Selon le post, Jev a détecté 6/7 problèmes introduits dans le test de défauts d'Every (contre 7/7 pour Fable 5.1) à environ 25x la vitesse. L'auteur recommande d'épingler jev-1.13.0, de journaliser les log probs et la version à chaque appel, et de recalibrer les seuils sur vos propres étiquettes.
In Every's defect test (@danshipper) Jev caught 6/7 planted issues vs 7/7 for Fable 5.1, at ~25x the speed. Pin jev-1.13.0, log probs + version on every call, recalibrate thresholds on your own labels. https://every.to/vibe-check/mini-vibe-check-typesafe-s-jev-judged-everything-i-ve-written-in-0-7-seconds…
· 0 likesOpen on X
More like this
Jev permet le LLM-as-a-Judge à 20–200x plus rapide et 40–400x moins cher
Jev a été utilisé pour déterminer quel modèle est AGI, offrant 20–200x plus de vitesse et 40–400x moins de coût, rendant LLM-as-a-judge extrêmement rapide et presque gratuit.
Tester des applications avec TypeSafe Jev et OpenCode
Filip partage une petite démo montrant la rapidité des tests d'applications avec TypeSafe Jev et OpenCode.
