Jev slår Gemini 2.5 Flash Lite i kvalitet och hastighet i klassificerarutvärdering
Malte Ubl körde TypeSafe AI:s Jev mot en befintlig klassificerarutvärdering: den mättade utvärderingen i kvalitet och var 6x snabbare än Gemini 2.5 Flash Lite.
Användaren delar Jev-körningsdata: 300 webbsidor, 9 beslut vardera, 2 cent; Opus 5 betygsatte 900 beslut och nästan alla missar inträffade där Jev själv rapporterade låg sannolikhet, så endast tveksamma fall behöver granskas.
2.3K papers for 14 cents lines up with my run: 300 web pages, 9 decisions each, 2 cents. On the confidence worry: Opus 5 graded 900 of the decisions, and nearly every miss sat where Jev itself reported a low probability. So you only review the doubt: