Créer un classificateur de base de code avec Jev
Un développeur partage la création d'un classificateur de base de code avec Jev, suggérant qu'il peut résoudre le code surconçu des agents, et demande quoi tester ensuite.
Utiliser Jev pour les évaluations de LLM
Hamel Husain indique que Jev peut être utilisé pour les évaluations de LLM, car un LLM Judge est essentiellement un classifieur, et conseille de tester les classifieurs avec des labels humains et d'éviter le surapprentissage.
Can you use Jev for Evals? Yes! Remember that a LLM Judge is also classifier*. Make sure to test your classifiers against human labels and don't overfit. Hope this helps! * https://hamel.dev/blog/posts/evals-faq/why-do-you-recommend-binary-passfail-evaluations-instead-of-1-5-ratings-likert-scales.html…
· 130 likesOpen on X
More like this
Jev permet le LLM-as-a-Judge à 20–200x plus rapide et 40–400x moins cher
Jev a été utilisé pour déterminer quel modèle est AGI, offrant 20–200x plus de vitesse et 40–400x moins de coût, rendant LLM-as-a-judge extrêmement rapide et presque gratuit.
Tester des applications avec TypeSafe Jev et OpenCode
Filip partage une petite démo montrant la rapidité des tests d'applications avec TypeSafe Jev et OpenCode.
