Creando un clasificador de código con Jev
Un desarrollador comparte la creación de un clasificador de código con Jev, sugiere que puede resolver código sobrediseñado por agentes y pregunta qué probar después.
Uso de Jev para evaluaciones de LLM
Hamel Husain señala que Jev se puede usar para evaluaciones de LLM, ya que un LLM Judge es esencialmente un clasificador, y aconseja probar los clasificadores con etiquetas humanas y evitar el sobreajuste.
Can you use Jev for Evals? Yes! Remember that a LLM Judge is also classifier*. Make sure to test your classifiers against human labels and don't overfit. Hope this helps! * https://hamel.dev/blog/posts/evals-faq/why-do-you-recommend-binary-passfail-evaluations-instead-of-1-5-ratings-likert-scales.html…
· 130 likesOpen on X
More like this
Jev permite LLM-as-a-Judge con 20–200x más velocidad y 40–400x menos costo
Jev se usó para elegir qué modelo es AGI, ofreciendo 20–200x más velocidad y 40–400x menos costo, lo que hace que LLM-as-a-judge sea extremadamente rápido y casi gratis.
Probando apps con TypeSafe Jev y OpenCode
Filip comparte una pequeña demo que muestra la rapidez al probar apps con TypeSafe Jev y OpenCode.
