Back to explore

JevをLLMジャッジとして検証

日本の開発者が、紛らわしい誤答72件を使って Jev を LLM ジャッジとして使えるか検証。完全に誤った回答は確実に見抜くが、一部だけ誤った回答は見逃すことも。約0.2秒/件、1000件で約2セントのコストで、見逃しがちな判定だけを LLM ジャッジに回す使い方も試しています。

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。

JevをLLMジャッジとして検証 1
· 4 likesOpen on X