Технічний блог Jev і ранній доступ
Наприкінці треду Діого є посилання на офіційний технічний блог і вхід до раннього доступу.
Японський розробник протестував Jev як суддю LLM на 72 оманливих неправильних відповідях. Надійно виявляє повністю неправильні відповіді, але може пропустити часткові помилки. Приблизно 0,2 с на випадок, ~2 центи за 1000 випадків. Також тестує відправлення лише ризикованих випадків до LLM-судді.
Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。