Blog tecnico Jev e accesso anticipato
La fine del thread di lancio di Diogo rimanda al blog tecnico ufficiale e all’accesso anticipato per approfondire.
Uno sviluppatore giapponese ha testato Jev come giudice LLM con 72 risposte errate fuorvianti, scoprendo che rileva in modo affidabile errori completi ma può perdere errori parziali. Circa 0,2 secondi per caso, ~2 centesimi per 1.000 casi, e sta anche provando a inviare solo i casi ad alto rischio al giudice LLM.
Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。