Jev, 이메일 분류 벤치마크에서 Gemini에 패배했지만 프로덕션 도입 검토
저자는 산업 공급업체의 독일어 및 영어 비즈니스 이메일 1,565건을 10개 카테고리로 분류하는 벤치마크에서 Jev를 테스트했으며, Gemini보다 정확도가 낮았지만 오류가 발생한 지점에 주목하고 여전히 프로덕션 도입을 고려하고 있다.
TypeSafe AI의 Jev가 MonidHQ에서 단 9번의 호출로 GitLab 전체 브리프를 생성합니다. 부서별 2,600명, 348개 기술, 23명의 투자자로부터 7라운드에 걸친 4억 3,200만 달러, 지난 30일간의 뉴스 10건을 단 0.24달러에 다룹니다.
a full brief on GitLab in nine calls: 2,600 people by department. 348 technologies. $432M across 7 rounds from 23 investors. 10 news items from the last 30 days. $0.24. this is what @typesafeai's Jev does on @MonidHQ while you're still logging into the data tool.