Back to explore

اختبار Jev كمحكّم للنماذج اللغوية

اختبر مطور ياباني Jev كمحكّم للنماذج اللغوية الكبيرة باستخدام 72 إجابة خاطئة مضللة، فوجد أنه يكتشف الأخطاء الكاملة بشكل موثوق لكنه قد يفوت بعض الأخطاء الجزئية. السرعة ~0.2 ثانية لكل حالة، والتكلفة ~2 سنت لكل 1000 حالة، ويحاول أيضًا إرسال الحالات عالية الخطورة فقط إلى محكّم النماذج اللغوية.

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。

اختبار Jev كمحكّم للنماذج اللغوية 1
· 4 likesOpen on X