Jev Technikblog und Early Access
Am Ende von Diogos Launch Thread stehen Links zum offiziellen Technikblog und zum Early Access Einstieg.
Ein japanischer Entwickler testete Jev als LLM-Richter mit 72 irreführend falschen Antworten. Es erkennt vollständig falsche Antworten zuverlässig, übersieht aber manchmal teilweise falsche. Etwa 0,2 s pro Fall, ~2 Cent pro 1.000 Fälle. Zudem wird versucht, nur Fälle mit hoher Fehlerwahrscheinlichkeit an den LLM-Richter weiterzuleiten.
Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめました。 ・回答全体が誤っているものは確実に見抜く ・一部だけ誤っている回答は見逃すことがある ・1件約0.2秒、1,000件で約2セント 見逃した判定は確率で見分けられたので、そこだけ LLM ジャッジに回す使い方も試しています。