Jev, 분류기 평가에서 품질과 속도 모두 우세
Malte Ubl이 TypeSafe AI의 Jev를 기존 분류기 평가에 적용한 결과, 품질에서 평가를 포화시켰고 Gemini 2.5 Flash Lite보다 6배 빨랐다.
Jev 벤치마크: 정확도와 보정 비교 평가
Jev와 9개의 오픈 체크포인트를 22개 태스크에서 평가한 결과, Jev는 매크로 정확도에서 앞섰지만 오픈 4B 모델이 더 나은 확률 보정을 보였으며 jev-bench는 완전 공개되어 있다.
Jev Tests: Accuracy gave one ranking. Calibration gave another. We evaluated Jev and nine open checkpoints across 22 tasks. Jev led on macro accuracy. But an open 4B model produced better-calibrated probabilities. jev-bench is fully open 👇
· 0 likesOpen on X
More like this
Jev로 DuckDB 행 빠르게 분류하기
작성자가 DuckDB 확장을 공개했습니다. TypeSafe AI의 Jev를 사용해 CSV/Parquet 파일이나 DuckDB 테이블의 행을 빠르게 분류하며, 1k 행에 약 10초가 걸려 LLM보다 빠르고 분류기보다 편리합니다.
Jev로 AI 논문 1,018편 분류, 총비용 0.08달러
DeepSeek V4 Flash로 각 논문을 요약한 뒤 제목, 요약, 24개 후보 주제를 Jev에 보내 분류했다. 총비용 0.08달러, 논문당 중앙값 엔드투엔드 지연 256ms로 1,018편의 AI 논문을 처리했다.
