Creare un classificatore di codebase con Jev
Uno sviluppatore condivide la creazione di un classificatore di codebase con Jev, suggerendo che può risolvere codice sovraingegnerizzato dagli agenti, e chiede cosa testare dopo.
Usare Jev per le valutazioni LLM
Hamel Husain osserva che Jev può essere usato per le valutazioni LLM, poiché un LLM Judge è essenzialmente un classificatore, e consiglia di testare i classificatori con etichette umane ed evitare l'overfitting.
Can you use Jev for Evals? Yes! Remember that a LLM Judge is also classifier*. Make sure to test your classifiers against human labels and don't overfit. Hope this helps! * https://hamel.dev/blog/posts/evals-faq/why-do-you-recommend-binary-passfail-evaluations-instead-of-1-5-ratings-likert-scales.html…
· 130 likesOpen on X
More like this
Jev consente LLM-as-a-Judge a 20–200x più veloce e 40–400x meno costoso
Jev è stato usato per scegliere quale modello è AGI, offrendo 20–200x più velocità e 40–400x meno costo, rendendo LLM-as-a-judge estremamente veloce e quasi gratuito.
Testare app con TypeSafe Jev e OpenCode
Filip condivide una piccola demo che mostra la velocità di test delle app con TypeSafe Jev e OpenCode.
