Jev перевершує Gemini 2.5 Flash Lite за якістю та швидкістю в оцінці класифікатора
Malte Ubl запустив Jev від TypeSafe AI на наявній оцінці класифікатора: він наситив оцінку за якістю та був у 6 разів швидшим за Gemini 2.5 Flash Lite.
Автор створив на Jev модель прогнозування складності AtCoder ABC і навчив її за допомогою градієнтного бустингу на близько 1000 задачах, досягнувши MAE, близького до найкращого людського рівня.
ちなみにこんな感じでABCのDifficulty推測をJevで組んで、これを過去1000問くらいで勾配ブースティングとかで学習させてみたら、trainデータと別のデータでMAE200弱くらい(人間最高峰と同レベル)まで行けたから、Jev適当に使ってこういうの試すのいいな、とは思ってます。SWE-2でもほぼ同精度だけどね