Blog teknis Jev dan akses awal
Akhir thread peluncuran Diogo menautkan blog teknis resmi dan pintu masuk akses awal untuk bacaan lanjutan.
Seorang pengembang Jepang menguji Jev sebagai juri LLM dengan 72 jawaban salah yang menyesatkan. Ia dapat mendeteksi jawaban yang sepenuhnya salah secara andal, tetapi mungkin melewatkan sebagian kesalahan. Sekitar 0,2 detik per kasus, ~2 sen per 1.000 kasus, dan juga mencoba mengirimkan hanya kasus berisiko tinggi ke juri LLM.
Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。