Jev slår Gemini 2.5 Flash Lite i kvalitet och hastighet i klassificerarutvärdering
Malte Ubl körde TypeSafe AI:s Jev mot en befintlig klassificerarutvärdering: den mättade utvärderingen i kvalitet och var 6x snabbare än Gemini 2.5 Flash Lite.
Författaren byggde en AtCoder ABC-svårighetsprediktor med Jev och tränade den med gradient boosting på cirka 1000 problem, och nådde ett MAE nära den högsta mänskliga nivån.
ちなみにこんな感じでABCのDifficulty推測をJevで組んで、これを過去1000問くらいで勾配ブースティングとかで学習させてみたら、trainデータと別のデータでMAE200弱くらい(人間最高峰と同レベル)まで行けたから、Jev適当に使ってこういうの試すのいいな、とは思ってます。SWE-2でもほぼ同精度だけどね