Jev ชนะ Gemini 2.5 Flash Lite ทั้งด้านคุณภาพและความเร็วในการประเมินตัวจำแนก
Malte Ubl ทดลองใช้ Jev ของ TypeSafe AI กับชุดประเมินตัวจำแนกที่มีอยู่ โดยทำคะแนนคุณภาพได้เต็มชุดประเมินและเร็วกว่า Gemini 2.5 Flash Lite 6 เท่า
ผู้เขียนสร้างโมเดลทำนายความยาก AtCoder ABC ด้วย Jev และฝึกด้วย gradient boosting บนโจทย์ประมาณ 1000 ข้อ ได้ MAE ใกล้เคียงระดับสูงสุดของมนุษย์
ちなみにこんな感じでABCのDifficulty推測をJevで組んで、これを過去1000問くらいで勾配ブースティングとかで学習させてみたら、trainデータと別のデータでMAE200弱くらい(人間最高峰と同レベル)まで行けたから、Jev適当に使ってこういうの試すのいいな、とは思ってます。SWE-2でもほぼ同精度だけどね