Jev ile kod tabanı sınıflandırıcısı oluşturma
Bir geliştirici Jev ile kod tabanı sınıflandırıcısı oluşturduğunu paylaşıyor, ajanların ürettiği aşırı mühendislik kodunu çözebileceğini öne sürüyor ve sırada neyin test edileceğini soruyor.
Jev, 25 kat hızla 6/7 kusuru yakaladı
Gönderiye göre Jev, Every'nin hata testinde 7/7 yakalayan Fable 5.1'e karşı 6/7 gömülü sorunu yakaladı ve hızı yaklaşık 25 kat daha yüksekti. Yazar, jev-1.13.0 sürümünü sabitlemeyi, her çağrıda log probs ve sürümü kaydetmeyi ve kendi etiketlerinizde eşikleri yeniden kalibre etmeyi öneriyor.
In Every's defect test (@danshipper) Jev caught 6/7 planted issues vs 7/7 for Fable 5.1, at ~25x the speed. Pin jev-1.13.0, log probs + version on every call, recalibrate thresholds on your own labels. https://every.to/vibe-check/mini-vibe-check-typesafe-s-jev-judged-everything-i-ve-written-in-0-7-seconds…
· 0 likesOpen on X
More like this
Jev, LLM-as-a-Judge'ı 20–200x hız ve 40–400x daha düşük maliyetle mümkün kılıyor
Jev, hangi modelin AGI olduğunu seçmek için kullanıldı; 20–200x hız ve 40–400x daha düşük maliyet sunarak LLM-as-a-judge'ı son derece hızlı ve neredeyse ücretsiz hale getiriyor.
TypeSafe Jev ve OpenCode ile uygulama testi
Filip, TypeSafe Jev ve OpenCode ile uygulama testinin ne kadar hızlı olduğunu gösteren küçük bir demo paylaştı.
