Back to explore

Jev проигрывает Gemini в бенчмарке классификации писем, но всё ещё рассматривается для продакшена

Автор протестировал Jev на наборе из 1 565 деловых писем на немецком и английском от промышленных поставщиков по 10 категориям: точность оказалась ниже, чем у Gemini, но автор обратил внимание на характер ошибок и всё ещё намерен внедрить Jev в продакшен.

Jev lost to Gemini on our email classification benchmark. I’m still interested in putting it into production. We tested 1,565 German and English business emails across 10 categories from Industrial suppliers. The interesting result wasn’t accuracy. It was where the mistakes

Jev проигрывает Gemini в бенчмарке классификации писем, но всё ещё рассматривается для продакшена 1
· 438 likesOpen on X