Jev, 분류기 평가에서 품질과 속도 모두 우세
Malte Ubl이 TypeSafe AI의 Jev를 기존 분류기 평가에 적용한 결과, 품질에서 평가를 포화시켰고 Gemini 2.5 Flash Lite보다 6배 빨랐다.
Jev를 Evals에 사용할 때의 병목
이 게시물은 Jev를 Evals에 사용하는 것은 괜찮지만, 진정한 병목은 분류기를 인간 라벨과 비교하는 것이지 평가 방법 자체가 아니라고 지적한다.
Using Jev for Evals is fine, but testing classifiers against human labels is the real bottleneck, not the evaluation method itself.
· 2 likesOpen on X
More like this
Jev로 DuckDB 행 빠르게 분류하기
작성자가 DuckDB 확장을 공개했습니다. TypeSafe AI의 Jev를 사용해 CSV/Parquet 파일이나 DuckDB 테이블의 행을 빠르게 분류하며, 1k 행에 약 10초가 걸려 LLM보다 빠르고 분류기보다 편리합니다.
Jev로 AI 논문 1,018편 분류, 총비용 0.08달러
DeepSeek V4 Flash로 각 논문을 요약한 뒤 제목, 요약, 24개 후보 주제를 Jev에 보내 분류했다. 총비용 0.08달러, 논문당 중앙값 엔드투엔드 지연 256ms로 1,018편의 AI 논문을 처리했다.
