Jev technical blog and early access
The end of Diogo’s launch thread links to the official technical blog and early-access entry point for further reading.
A Japanese developer tested Jev as an LLM judge with 72 misleading wrong answers, finding it reliably catches fully wrong answers but may miss partial errors. It runs at ~0.2s per case, ~2 cents per 1,000 cases, and they are also trying to route only high-risk samples to an LLM judge.
Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。