返回探索

Jev 作为 LLM 评判器的实测

日本开发者通过72个易混淆的错误答案测试了 Jev 作为 LLM 评判器的能力,发现它可靠识别整体错误但有时漏掉部分错误,速度约0.2秒/件,1000件成本约2美分,并尝试只将漏判概率高的样本交给 LLM 评判器。

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。

Jev 作为 LLM 评判器的实测 1
· 4 次赞在 X 打开