Jev, 분류기 평가에서 품질과 속도 모두 우세
Malte Ubl이 TypeSafe AI의 Jev를 기존 분류기 평가에 적용한 결과, 품질에서 평가를 포화시켰고 Gemini 2.5 Flash Lite보다 6배 빨랐다.
작성자는 Jev에게 TypeSafe와 OpenRouter의 보도자료 및 문서 페이지 발췌문을 13개 범주 중 하나로 분류하도록 요청했고, 검사 가능한 ChainForge 흐름을 공개했다.
To make this chart, we asked Jev which of 13 categories best describes each excerpt, taken from typesafe and OpenRouter's press releases and doc pages. "System One model" was one, "Decision model" was another. The flow is available to inspect right here: https://chainforge.ai/play/?f=161gf9kjcdygh…