Developer resources · Taka YAYOI/弥生隆明@MLflowで実践するLLMOps

Jev를 LLM 판정자로 테스트

일본 개발자가 혼동하기 쉬운 오답 72건으로 Jev를 LLM 판정자로 사용할 수 있는지 테스트했다. 전체 오답은 확실히 잡아내지만 일부 오답은 놓칠 수 있으며, 약 0.2초/건, 1000건당 약 2센트 비용으로 놓친 판정만 LLM 판정자에 보내는 방법도 시도 중이다.

Taka YAYOI/弥生隆明@MLflowで実践するLLMOps@taka_aki𝕏

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。・回答全体が誤っているものは確実に見抜く・一部だけ誤っている回答は見逃すことがある・1件約0.2秒、1,000件で約2セント見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。

2026년 9월 25일· 4 likesOpen on X

More like this