Jev ile kod tabanı sınıflandırıcısı oluşturma
Bir geliştirici Jev ile kod tabanı sınıflandırıcısı oluşturduğunu paylaşıyor, ajanların ürettiği aşırı mühendislik kodunu çözebileceğini öne sürüyor ve sırada neyin test edileceğini soruyor.
LLM Değerlendirmeleri için Jev Kullanımı
Hamel Husain, LLM Judge'in özünde bir sınıflandırıcı olduğu için Jev'in LLM değerlendirmeleri için kullanılabileceğini belirtiyor ve sınıflandırıcıları insan etiketleriyle test edip aşırı öğrenmeden kaçınmayı öneriyor.
Can you use Jev for Evals? Yes! Remember that a LLM Judge is also classifier*. Make sure to test your classifiers against human labels and don't overfit. Hope this helps! * https://hamel.dev/blog/posts/evals-faq/why-do-you-recommend-binary-passfail-evaluations-instead-of-1-5-ratings-likert-scales.html…
· 130 likesOpen on X
More like this
Jev, LLM-as-a-Judge'ı 20–200x hız ve 40–400x daha düşük maliyetle mümkün kılıyor
Jev, hangi modelin AGI olduğunu seçmek için kullanıldı; 20–200x hız ve 40–400x daha düşük maliyet sunarak LLM-as-a-judge'ı son derece hızlı ve neredeyse ücretsiz hale getiriyor.
TypeSafe Jev ve OpenCode ile uygulama testi
Filip, TypeSafe Jev ve OpenCode ile uygulama testinin ne kadar hızlı olduğunu gösteren küçük bir demo paylaştı.
