Back to explore

Testare Jev come giudice LLM

Uno sviluppatore giapponese ha testato Jev come giudice LLM con 72 risposte errate fuorvianti, scoprendo che rileva in modo affidabile errori completi ma può perdere errori parziali. Circa 0,2 secondi per caso, ~2 centesimi per 1.000 casi, e sta anche provando a inviare solo i casi ad alto rischio al giudice LLM.

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。

Testare Jev come giudice LLM 1
· 4 likesOpen on X