Jev, 분류기 평가에서 품질과 속도 모두 우세
Malte Ubl이 TypeSafe AI의 Jev를 기존 분류기 평가에 적용한 결과, 품질에서 평가를 포화시켰고 Gemini 2.5 Flash Lite보다 6배 빨랐다.
사용자가 JEV로 6,030개 구매자 Q&A와 1,005개 YC 기업명을 처리해 37,636개 판정, 910만 토큰을 40초, 0.38달러로 완료. Claude Sonnet의 36달러보다 훨씬 저렴.
JEV is INSANE It read 6,030 ChatGPT answers to buyer questions about 1,005 YC companies and checked every company name in every answer. 37,636 verdicts. 9.1M tokens. 40 seconds. $0.38. Grading the same 6,030 answers with Claude Sonnet cost me $36 last month. 71% of these