Blog techniczny Jev i wczesny dostęp
Koniec wątku premierowego Diogo linkuje do oficjalnego bloga technicznego i wejścia do early access.
Japoński programista przetestował Jev jako sędziego LLM na 72 mylących błędnych odpowiedziach. Niezawodnie wykrywa całkowicie błędne odpowiedzi, ale może przeoczyć częściowe błędy. Około 0,2 s na przypadek, ~2 centy za 1000 przypadków. Testuje też wysyłanie tylko ryzykownych przypadków do sędziego LLM.
Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。