Jev verslaat Gemini 2.5 Flash Lite op kwaliteit en snelheid in classifier-evaluatie
Malte Ubl voerde Jev van TypeSafe AI uit op een bestaande classifier-evaluatie: het verzadigde de evaluatie op kwaliteit en was 6x sneller dan Gemini 2.5 Flash Lite.
Een gebruiker toont JEV dat 6.030 vragen van kopers verwerkt en 1.005 YC-bedrijfsnamen controleert, met 37.636 uitspraken en 9,1M tokens in 40 seconden voor $0,38, veel goedkoper dan de $36 van Claude Sonnet.
JEV is INSANE It read 6,030 ChatGPT answers to buyer questions about 1,005 YC companies and checked every company name in every answer. 37,636 verdicts. 9.1M tokens. 40 seconds. $0.38. Grading the same 6,030 answers with Claude Sonnet cost me $36 last month. 71% of these