Jev verslaat Gemini 2.5 Flash Lite op kwaliteit en snelheid in classifier-evaluatie
Malte Ubl voerde Jev van TypeSafe AI uit op een bestaande classifier-evaluatie: het verzadigde de evaluatie op kwaliteit en was 6x sneller dan Gemini 2.5 Flash Lite.
Jev-labeling en multi-model vergelijking in de praktijk
De auteur deelt de ervaring met handmatig labelen met Jev, merkt op dat Jev alleen met opus liep en abusievelijk met een andere opus werd vergeleken, en instrueert het nu om met meerdere verschillende modellen te labelen.
אחד הדברים שצריך קצת לעבוד קשה פה זה לתייג ידנית גם עוד כל מיני דברים ואני צריך לוודא בעצמי (ומי אמר שאני רשאי לתייג כמו שצריך? מי עשה אותי תייגן?) גם שמתי לב בנוסף שjev רץ רק עם opus ומדד בטעות מול opus אחר. אז הנחיתי אותו עכשיו לעשות תיוגים עם מספר מודלים שונים ממספר
· 0 likesOpen on X
More like this
Snelle rijclassificatie in DuckDB met Jev
De auteur heeft een DuckDB-extensie uitgebracht die TypeSafe AI's Jev gebruikt om rijen in CSV/Parquet-bestanden of DuckDB-tabellen snel te classificeren, ongeveer 10 seconden voor 1k rijen—sneller dan een LLM en ergonomischer dan een classifier.
1.018 AI-papers classificeren met Jev voor $ 0,08
De auteur vatte elk paper samen met DeepSeek V4 Flash en stuurde vervolgens de titel, samenvatting en 24 kandidaat-onderwerpen naar Jev voor classificatie. Er werden 1.018 AI-papers verwerkt tegen $ 0,08 totale kosten en 256ms mediane end-to-end latentie per paper.
