Jev, 이메일 분류 벤치마크에서 Gemini에 패배했지만 프로덕션 도입 검토
저자는 산업 공급업체의 독일어 및 영어 비즈니스 이메일 1,565건을 10개 카테고리로 분류하는 벤치마크에서 Jev를 테스트했으며, Gemini보다 정확도가 낮았지만 오류가 발생한 지점에 주목하고 여전히 프로덕션 도입을 고려하고 있다.
고비용 LLM은 복잡한 사고에, 저비용 Jev는 단순하고 빠른 분류에 사용하여 분업으로 공장 경영을 최적화하자는 제안이다.
遅いけど、複雑な思考と作業ができて、賃金が高いLLMさん 単純な作業を素早く、仕分けができて、賃金がやすいJevさん 使い分けができると、工場経営がうまくいきそうですね