Jev、メール分類ベンチマークでGeminiに敗れるも実運用を検討
著者は、産業サプライヤーからのドイツ語・英語のビジネスメール1,565通を10カテゴリで分類するベンチマークでJevをテストし、Geminiより精度が低いものの、誤りの傾向に関心を持ち、実運用を検討している。
ユーザーがJEVで100分の架空の面接データを処理:12.8秒でPass/Hold/Passに分類し、専門スキル・コミュニケーション・意欲を採点、重大な懸念のある箇所を検出。総コストは0.005ドル。
JEV, amazing. When I gave it 100 interview minutes (fictional data), ・Sorted everyone into "Pass/Hold/Pass" in 12.8 seconds ・Scored professional skills, communication, and motivation level ・Detected minutes with "major concerns" Total cost: $0.005. Less than 0.01 yen per