Jev、メール分類ベンチマークでGeminiに敗れるも実運用を検討
著者は、産業サプライヤーからのドイツ語・英語のビジネスメール1,565通を10カテゴリで分類するベンチマークでJevをテストし、Geminiより精度が低いものの、誤りの傾向に関心を持ち、実運用を検討している。
高コストのLLMを複雑な思考に、低コストのJevを単純で迅速な仕分けに使い分けることで、工場経営を最適化できると提案している。
遅いけど、複雑な思考と作業ができて、賃金が高いLLMさん 単純な作業を素早く、仕分けができて、賃金がやすいJevさん 使い分けができると、工場経営がうまくいきそうですね