Back to explore

Testing Jev as an LLM Judge

A Japanese developer tested Jev as an LLM judge with 72 misleading wrong answers, finding it reliably catches fully wrong answers but may miss partial errors. It runs at ~0.2s per case, ~2 cents per 1,000 cases, and they are also trying to route only high-risk samples to an LLM judge.

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。

Testing Jev as an LLM Judge 1
· 4 likesOpen on X