Back to explore

Jev testen als LLM-rechter

Een Japanse ontwikkelaar testte Jev als LLM-rechter met 72 misleidend foute antwoorden. Het vindt volledig foute antwoorden betrouwbaar, maar mist soms gedeeltelijke fouten. Ongeveer 0,2 s per geval, ~2 cent per 1.000 gevallen, en het probeert ook alleen risicovolle gevallen naar de LLM-rechter te sturen.

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。

Jev testen als LLM-rechter 1
· 4 likesOpen on X