Jev verslaat Gemini 2.5 Flash Lite op kwaliteit en snelheid in classifier-evaluatie
Malte Ubl voerde Jev van TypeSafe AI uit op een bestaande classifier-evaluatie: het verzadigde de evaluatie op kwaliteit en was 6x sneller dan Gemini 2.5 Flash Lite.
De auteur bouwde een systeem dat via de Jev API 12 vragen stuurt naar elk van de 150 fictieve persona's om hun productacceptatie-intentie te vragen. De werkelijke kosten waren 1,8 yen en het duurde ongeveer 5 seconden; het is snel genoeg, maar bevat latentie.
I built a system to ask 150 fictional personas on the trending Jev about their product adoption intent. It throws 12 questions via API for each of the 150 personas. The actual cost was 1.8 yen, and the time taken was about 5 seconds. It's plenty fast, but it includes latency