Jev превосходит Gemini 2.5 Flash Lite по качеству и скорости в оценке классификатора
Malte Ubl прогнал Jev от TypeSafe AI на существующей оценке классификатора: он насытил оценку по качеству и оказался в 6 раз быстрее Gemini 2.5 Flash Lite.
Автор создал на Jev модель прогнозирования сложности AtCoder ABC и обучил её с помощью градиентного бустинга на примерно 1000 задачах, достигнув MAE, близкого к лучшему человеческому уровню.
ちなみにこんな感じでABCのDifficulty推測をJevで組んで、これを過去1000問くらいで勾配ブースティングとかで学習させてみたら、trainデータと別のデータでMAE200弱くらい(人間最高峰と同レベル)まで行けたから、Jev適当に使ってこういうの試すのいいな、とは思ってます。SWE-2でもほぼ同精度だけどね