Jev, 분류기 평가에서 품질과 속도 모두 우세
Malte Ubl이 TypeSafe AI의 Jev를 기존 분류기 평가에 적용한 결과, 품질에서 평가를 포화시켰고 Gemini 2.5 Flash Lite보다 6배 빨랐다.
300개 공개 웹 페이지에 각 9개 결정을 내려 총 2센트를 사용했고, Opus 5가 900개를 평가했다. 전체 일치율 85.8/100, Jev가 확신할 때는 98/100이며 오픈소스와 나란히 비교 영상이 포함된다.
First thing I did with open access: 300 public web pages, 9 decisions each, 2 cents total, then Opus 5 graded 900 of them. 85.8 of 100 agree, and where Jev is sure it is 98 of 100. Open source, with a side by side video: