Créer un classificateur de base de code avec Jev
Un développeur partage la création d'un classificateur de base de code avec Jev, suggérant qu'il peut résoudre le code surconçu des agents, et demande quoi tester ensuite.
Le modèle Jev obtient de bons résultats sur le benchmark BANKING77
Avec la même version épinglée de Jev sur les 3 080 cas de test officiels de BANKING77, la précision atteint 80,75 % sans exemples et 91,36 % avec les 2 446 exemples étiquetés en contexte — 327 réponses correctes supplémentaires, aucune mise à jour des poids, et seulement 10,92 $ de jetons d'entrée.
BANKING77, same pinned Jev version, same 3,080 official test cases: 80.75% with no examples, 91.36% with all 2,446 labeled examples in context. 327 more correct, no weight updates, $10.92 of input tokens.
· 0 likesOpen on X
More like this
Jev permet le LLM-as-a-Judge à 20–200x plus rapide et 40–400x moins cher
Jev a été utilisé pour déterminer quel modèle est AGI, offrant 20–200x plus de vitesse et 40–400x moins de coût, rendant LLM-as-a-judge extrêmement rapide et presque gratuit.
Tester des applications avec TypeSafe Jev et OpenCode
Filip partage une petite démo montrant la rapidité des tests d'applications avec TypeSafe Jev et OpenCode.
