Membangun pengklasifikasi basis kode dengan Jev
Seorang pengembang membagikan pembuatan pengklasifikasi basis kode dengan Jev, menyarankan ini dapat mengatasi kode berlebihan dari agen, dan bertanya apa yang harus diuji selanjutnya.
Jev menangkap 6/7 cacat pada kecepatan 25x
Menurut postingan, Jev menangkap 6/7 masalah yang ditanamkan dalam uji cacat Every (vs 7/7 untuk Fable 5.1) dengan kecepatan sekitar 25x. Penulis menyarankan untuk mengunci jev-1.13.0, mencatat log probs dan versi pada setiap panggilan, serta mengkalibrasi ulang ambang batas pada label Anda sendiri.
In Every's defect test (@danshipper) Jev caught 6/7 planted issues vs 7/7 for Fable 5.1, at ~25x the speed. Pin jev-1.13.0, log probs + version on every call, recalibrate thresholds on your own labels. https://every.to/vibe-check/mini-vibe-check-typesafe-s-jev-judged-everything-i-ve-written-in-0-7-seconds…
· 0 likesOpen on X
More like this
Jev memungkinkan LLM-as-a-Judge 20–200x lebih cepat dan 40–400x lebih murah
Jev digunakan untuk memilih model mana yang AGI, menawarkan kecepatan 20–200x dan biaya 40–400x lebih murah, membuat LLM-as-a-judge sangat cepat dan hampir gratis.
Menguji aplikasi dengan TypeSafe Jev & OpenCode
Filip membagikan demo kecil yang menunjukkan cepatnya menguji aplikasi dengan TypeSafe Jev dan OpenCode.
