Einen Codebase-Klassifikator mit Jev erstellen
Ein Entwickler teilt den Bau eines Codebase-Klassifikators mit Jev, der überentwickelten Code von Agenten lösen könnte, und fragt, was als Nächstes getestet werden soll.
Jev für LLM-Evaluierungen nutzen
Hamel Husain weist darauf hin, dass Jev für LLM-Evaluierungen genutzt werden kann, da ein LLM Judge im Wesentlichen ein Klassifikator ist, und rät, Klassifikatoren mit menschlichen Labels zu testen und Overfitting zu vermeiden.
Can you use Jev for Evals? Yes! Remember that a LLM Judge is also classifier*. Make sure to test your classifiers against human labels and don't overfit. Hope this helps! * https://hamel.dev/blog/posts/evals-faq/why-do-you-recommend-binary-passfail-evaluations-instead-of-1-5-ratings-likert-scales.html…
· 130 likesOpen on X
More like this
Jev ermöglicht LLM-as-a-Judge mit 20–200x Geschwindigkeit und 40–400x geringeren Kosten
Jev wurde verwendet, um zu bestimmen, welches Modell AGI ist, und bietet 20–200x Geschwindigkeit und 40–400x geringere Kosten, wodurch LLM-as-a-Judge extrem schnell und nahezu kostenlos wird.
Apps testen mit TypeSafe Jev & OpenCode
Filip teilt eine kleine Demo, die zeigt, wie schnell App-Tests mit TypeSafe Jev und OpenCode sein können.
