Jev, 분류기 평가에서 품질과 속도 모두 우세
Malte Ubl이 TypeSafe AI의 Jev를 기존 분류기 평가에 적용한 결과, 품질에서 평가를 포화시켰고 Gemini 2.5 Flash Lite보다 6배 빨랐다.
저자는 Jev API를 통해 150명의 가상 페르소나 각각에 12개의 질문을 보내 제품 도입 의향을 묻는 시스템을 구축했다. 실제 비용은 1.8엔, 소요 시간은 약 5초로 충분히 빠르지만 지연 시간이 포함된다.
I built a system to ask 150 fictional personas on the trending Jev about their product adoption intent. It throws 12 questions via API for each of the 150 personas. The actual cost was 1.8 yen, and the time taken was about 5 seconds. It's plenty fast, but it includes latency