Jev verslaat Gemini 2.5 Flash Lite op kwaliteit en snelheid in classifier-evaluatie
Malte Ubl voerde Jev van TypeSafe AI uit op een bestaande classifier-evaluatie: het verzadigde de evaluatie op kwaliteit en was 6x sneller dan Gemini 2.5 Flash Lite.
De auteur vatte elk paper samen met DeepSeek V4 Flash en stuurde vervolgens de titel, samenvatting en 24 kandidaat-onderwerpen naar Jev voor classificatie. Er werden 1.018 AI-papers verwerkt tegen $ 0,08 totale kosten en 256ms mediane end-to-end latentie per paper.
I used Jev to classify 1,018 AI research papers. The result: $0.08 total cost and 256ms median end-to-end latency per paper. The pipeline was: 1. Summarize each paper with DeepSeek V4 Flash 2. Send the title + summary + 24 possible topics to Jev 3. Use Jev to classify each