Membangun pengklasifikasi basis kode dengan Jev
Seorang pengembang membagikan pembuatan pengklasifikasi basis kode dengan Jev, menyarankan ini dapat mengatasi kode berlebihan dari agen, dan bertanya apa yang harus diuji selanjutnya.
Menggunakan Jev untuk Evaluasi LLM
Hamel Husain menyatakan Jev dapat digunakan untuk evaluasi LLM karena LLM Judge pada dasarnya adalah pengklasifikasi, dan menyarankan menguji pengklasifikasi terhadap label manusia serta menghindari overfitting.
Can you use Jev for Evals? Yes! Remember that a LLM Judge is also classifier*. Make sure to test your classifiers against human labels and don't overfit. Hope this helps! * https://hamel.dev/blog/posts/evals-faq/why-do-you-recommend-binary-passfail-evaluations-instead-of-1-5-ratings-likert-scales.html…
· 130 likesOpen on X
More like this
Jev memungkinkan LLM-as-a-Judge 20–200x lebih cepat dan 40–400x lebih murah
Jev digunakan untuk memilih model mana yang AGI, menawarkan kecepatan 20–200x dan biaya 40–400x lebih murah, membuat LLM-as-a-judge sangat cepat dan hampir gratis.
Menguji aplikasi dengan TypeSafe Jev & OpenCode
Filip membagikan demo kecil yang menunjukkan cepatnya menguji aplikasi dengan TypeSafe Jev dan OpenCode.
