Back to explore

Tester Jev comme juge de LLM

Un développeur japonais a testé Jev comme juge de LLM avec 72 réponses incorrectes trompeuses, constatant qu'il repère de manière fiable les erreurs complètes mais peut manquer des erreurs partielles. Environ 0,2 s par cas, ~2 cents pour 1 000 cas, et il essaie aussi de ne transmettre au juge LLM que les cas présentant un risque de manque.

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。

Tester Jev comme juge de LLM 1
· 4 likesOpen on X