Back to explore

Jev'i LLM yargıcı olarak test etmek

Japon bir geliştirici, Jev'i yanıltıcı 72 hatalı yanıtla LLM yargıcı olarak test etti. Tamamen hatalı yanıtları güvenilir şekilde yakalıyor ancak kısmen hatalı yanıtları kaçırabiliyor. Vaka başına ~0,2 saniye, 1000 vaka için ~2 sent. Ayrıca yalnızca riskli vakaları LLM yargıcına göndermeyi deniyor.

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。

Jev'i LLM yargıcı olarak test etmek 1
· 4 likesOpen on X