Een codebase-classificator bouwen met Jev
Een ontwikkelaar deelt het bouwen van een codebase-classificator met Jev, suggereert dat dit overgeëngineerde code van agents kan oplossen, en vraagt wat er nu getest moet worden.
Jev gebruiken voor LLM-evaluaties
Hamel Husain merkt op dat Jev gebruikt kan worden voor LLM-evaluaties, omdat een LLM Judge in wezen een classifier is, en adviseert classifiers te testen met menselijke labels en overfitting te vermijden.
Can you use Jev for Evals? Yes! Remember that a LLM Judge is also classifier*. Make sure to test your classifiers against human labels and don't overfit. Hope this helps! * https://hamel.dev/blog/posts/evals-faq/why-do-you-recommend-binary-passfail-evaluations-instead-of-1-5-ratings-likert-scales.html…
· 130 likesOpen on X
More like this
Jev maakt LLM-as-a-Judge 20–200x sneller en 40–400x goedkoper
Jev werd gebruikt om te bepalen welk model AGI is, met 20–200x snelheid en 40–400x lagere kosten, waardoor LLM-as-a-judge extreem snel en bijna gratis wordt.
Apps testen met TypeSafe Jev & OpenCode
Filip deelt een kleine demo die laat zien hoe snel apps testen met TypeSafe Jev en OpenCode kan zijn.
