Blog technique Jev et accès anticipé
La fin du fil de lancement de Diogo renvoie au blog technique officiel et au point d’entrée d’accès anticipé pour aller plus loin.
Un développeur japonais a testé Jev comme juge de LLM avec 72 réponses incorrectes trompeuses, constatant qu'il repère de manière fiable les erreurs complètes mais peut manquer des erreurs partielles. Environ 0,2 s par cas, ~2 cents pour 1 000 cas, et il essaie aussi de ne transmettre au juge LLM que les cas présentant un risque de manque.
Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。