Back to explore

Jev、メール分類ベンチマークでGeminiに敗れるも実運用を検討

著者は、産業サプライヤーからのドイツ語・英語のビジネスメール1,565通を10カテゴリで分類するベンチマークでJevをテストし、Geminiより精度が低いものの、誤りの傾向に関心を持ち、実運用を検討している。

Jev lost to Gemini on our email classification benchmark. I’m still interested in putting it into production. We tested 1,565 German and English business emails across 10 categories from Industrial suppliers. The interesting result wasn’t accuracy. It was where the mistakes

Jev、メール分類ベンチマークでGeminiに敗れるも実運用を検討 1
· 438 likesOpen on X