Jev, 분류기 평가에서 품질과 속도 모두 우세
Malte Ubl이 TypeSafe AI의 Jev를 기존 분류기 평가에 적용한 결과, 품질에서 평가를 포화시켰고 Gemini 2.5 Flash Lite보다 6배 빨랐다.
관심 시나리오에서 Jev, Semif(qwen3.5-4B 분류 헤드에서 logits 추출), 자체 파인튜닝 BERT 유사 모델의 성능을 비교한 결과, Jev가 Semif보다 우수하지만 자체 모델보다는 약간 뒤처졌다.
Recently I test the performance among Jev, Semif(qwen3.5-4B extract the logits from classification head) and my own fine-tuned bert-like model in one my interested scenario, Jev outperforms the Semif but a bit worse than mine