Jev ile kod tabanı sınıflandırıcısı oluşturma
Bir geliştirici Jev ile kod tabanı sınıflandırıcısı oluşturduğunu paylaşıyor, ajanların ürettiği aşırı mühendislik kodunu çözebileceğini öne sürüyor ve sırada neyin test edileceğini soruyor.
Braintrust, Jev'i yargıç modeli olarak test etti
Braintrust, Jev'i yargıç modeli olarak test etti: groundedness değerlendirmesinde hızlı, ucuz ve rekabetçi, ancak matematik ve kod alanlarında akıl yürütme modellerinin gerisinde. Belirli değerlendirme görevleri için uygun, LLM-as-a-judge'ın tam yerine geçmez.
We tested where Jev holds up as a judge. Jev was fast, cheap, and highly competitive for judging groundedness. But it lagged behind models with reasoning for math and code domains. Use it for certain eval tasks, but don't throw out your LLM-as-a-judge just yet. Read more →
· 26 likesOpen on X
More like this
Jev, LLM-as-a-Judge'ı 20–200x hız ve 40–400x daha düşük maliyetle mümkün kılıyor
Jev, hangi modelin AGI olduğunu seçmek için kullanıldı; 20–200x hız ve 40–400x daha düşük maliyet sunarak LLM-as-a-judge'ı son derece hızlı ve neredeyse ücretsiz hale getiriyor.
TypeSafe Jev ve OpenCode ile uygulama testi
Filip, TypeSafe Jev ve OpenCode ile uygulama testinin ne kadar hızlı olduğunu gösteren küçük bir demo paylaştı.
