Jevが分類器評価で品質と速度の両方で優位
Malte Ubl氏がTypeSafe AIのJevを既存の分類器評価に適用したところ、品質で評価を飽和させ、Gemini 2.5 Flash Liteより6倍高速だった。
公開ウェブページ300件に各9件の意思決定を行い、総コスト2セントで、Opus 5が900件を評価。全体一致率85.8/100、Jevが確信する場合は98/100。オープンソースと並列比較動画付き。
First thing I did with open access: 300 public web pages, 9 decisions each, 2 cents total, then Opus 5 graded 900 of them. 85.8 of 100 agree, and where Jev is sure it is 98 of 100. Open source, with a side by side video: