Jev, 분류기 평가에서 품질과 속도 모두 우세
Malte Ubl이 TypeSafe AI의 Jev를 기존 분류기 평가에 적용한 결과, 품질에서 평가를 포화시켰고 Gemini 2.5 Flash Lite보다 6배 빨랐다.
FLock 비교 테스트: THIS/THAT 모델 94.1%, Jev 호스팅 System One 76.5%
FLock.io가 제3자 기록 68문항 정확도 테스트를 공개했습니다. FLock의 THIS/THAT Model 1.0은 94.1%, Jev(호스팅형 System One 서비스)는 76.5%를 기록했습니다. 게시물은 전용 의사결정 모델로서 유망한 결과라고 평가하면서도 그래프 탐색이나 다단계 산술이 필요한 복잡한 작업은 여전히 과제로 남아 있다고 밝혔습니다.
In a test of 68 questions recorded by a third party for accuracy: - FLock's THIS / THAT Model 1.0: 94.1% - Jev (hosted System One service): 76.5% A promising result for a specialised decision model. Complex tasks requiring graph search or multi-step arithmetic remain
· 2 likesOpen on X
More like this
Jev로 DuckDB 행 빠르게 분류하기
작성자가 DuckDB 확장을 공개했습니다. TypeSafe AI의 Jev를 사용해 CSV/Parquet 파일이나 DuckDB 테이블의 행을 빠르게 분류하며, 1k 행에 약 10초가 걸려 LLM보다 빠르고 분류기보다 편리합니다.
Jev로 AI 논문 1,018편 분류, 총비용 0.08달러
DeepSeek V4 Flash로 각 논문을 요약한 뒤 제목, 요약, 24개 후보 주제를 Jev에 보내 분류했다. 총비용 0.08달러, 논문당 중앙값 엔드투엔드 지연 256ms로 1,018편의 AI 논문을 처리했다.
