Jev, 분류기 평가에서 품질과 속도 모두 우세
Malte Ubl이 TypeSafe AI의 Jev를 기존 분류기 평가에 적용한 결과, 품질에서 평가를 포화시켰고 Gemini 2.5 Flash Lite보다 6배 빨랐다.
900개의 실제 웹 감사 결정을 포함한 공개 벤치마크. Jev와 Opus 5 답변을 나란히 공개하고 모든 행을 MIT로 개방. Jev는 85.8/100으로 Opus 5와 동등.
Congrats on shipping Solomon. If you want a public yardstick for it: 900 real web audit decisions with Jev and Opus 5 answers side by side, all rows open, MIT. Jev matched Opus 5 on 85.8 of 100. Would be great to see where Solomon 27b lands: