Back to explore

Testowanie Jev jako sędziego LLM

Japoński programista przetestował Jev jako sędziego LLM na 72 mylących błędnych odpowiedziach. Niezawodnie wykrywa całkowicie błędne odpowiedzi, ale może przeoczyć częściowe błędy. Około 0,2 s na przypadek, ~2 centy za 1000 przypadków. Testuje też wysyłanie tylko ryzykownych przypadków do sędziego LLM.

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。

Testowanie Jev jako sędziego LLM 1
· 4 likesOpen on X