Bygga en kodbas-klassificerare med Jev
En utvecklare delar bygget av en kodbas-klassificerare med Jev, föreslår att det kan lösa överkonstruerad kod från agenter, och frågar vad som ska testas härnäst.
Använda Jev för LLM-utvärderingar
Hamel Husain påpekar att Jev kan användas för LLM-utvärderingar eftersom en LLM Judge i grunden är en klassificerare, och råder att testa klassificerare mot mänskliga etiketter och undvika överanpassning.
Can you use Jev for Evals? Yes! Remember that a LLM Judge is also classifier*. Make sure to test your classifiers against human labels and don't overfit. Hope this helps! * https://hamel.dev/blog/posts/evals-faq/why-do-you-recommend-binary-passfail-evaluations-instead-of-1-5-ratings-likert-scales.html…
· 130 likesOpen on X
More like this
Jev möjliggör LLM-as-a-Judge 20–200x snabbare och 40–400x billigare
Jev användes för att välja vilken modell som är AGI, med 20–200x hastighet och 40–400x lägre kostnad, vilket gör LLM-as-a-Judge extremt snabbt och nästan gratis.
Testa appar med TypeSafe Jev & OpenCode
Filip delar en liten demo som visar hur snabbt det går att testa appar med TypeSafe Jev och OpenCode.
