Jev, 이메일 분류 벤치마크에서 Gemini에 패배했지만 프로덕션 도입 검토
저자는 산업 공급업체의 독일어 및 영어 비즈니스 이메일 1,565건을 10개 카테고리로 분류하는 벤치마크에서 Jev를 테스트했으며, Gemini보다 정확도가 낮았지만 오류가 발생한 지점에 주목하고 여전히 프로덕션 도입을 고려하고 있다.
Jev를 사용하기 시작한 사용자가 업무 정확도와 자신감을 수치화하고 글을 쓰지 않아 높은 정확도가 나오는 방식이 명확하다고 공유했다.
Jevをいじり始めてるけど業務の精度、自信を数値化してる、文章を書かないから高い精度が生まれる感覚が良き。 この整理がわかりやすい