Jev verslaat Gemini 2.5 Flash Lite op kwaliteit en snelheid in classifier-evaluatie
Malte Ubl voerde Jev van TypeSafe AI uit op een bestaande classifier-evaluatie: het verzadigde de evaluatie op kwaliteit en was 6x sneller dan Gemini 2.5 Flash Lite.
De auteur bouwde een AtCoder ABC-moeilijkheidspredictor met Jev en trainde deze met gradient boosting op ongeveer 1000 problemen, met een MAE dicht bij het beste menselijke niveau.
ちなみにこんな感じでABCのDifficulty推測をJevで組んで、これを過去1000問くらいで勾配ブースティングとかで学習させてみたら、trainデータと別のデータでMAE200弱くらい(人間最高峰と同レベル)まで行けたから、Jev適当に使ってこういうの試すのいいな、とは思ってます。SWE-2でもほぼ同精度だけどね