Back to explore

Тестирование Jev в роли судьи LLM

Японский разработчик протестировал Jev в качестве судьи LLM на 72 запутанных неверных ответах. Он надёжно выявляет полностью ошибочные ответы, но может пропустить частичные ошибки. Скорость ~0,2 с на случай, стоимость ~2 цента за 1000 случаев. Также он пробует отправлять только рискованные случаи на LLM-судью.

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。

Тестирование Jev в роли судьи LLM 1
· 4 likesOpen on X