Back to explore

Тестування Jev як судді LLM

Японський розробник протестував Jev як суддю LLM на 72 оманливих неправильних відповідях. Надійно виявляє повністю неправильні відповіді, але може пропустити часткові помилки. Приблизно 0,2 с на випадок, ~2 центи за 1000 випадків. Також тестує відправлення лише ризикованих випадків до LLM-судді.

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。

Тестування Jev як судді LLM 1
· 4 likesOpen on X