Jev verslaat Gemini 2.5 Flash Lite op kwaliteit en snelheid in classifier-evaluatie
Malte Ubl voerde Jev van TypeSafe AI uit op een bestaande classifier-evaluatie: het verzadigde de evaluatie op kwaliteit en was 6x sneller dan Gemini 2.5 Flash Lite.
FLock-vergelijkingstest: THIS/THAT-model 94,1% vs Jev gehoste System One 76,5%
FLock.io deelt een door derden vastgelegde nauwkeurigheidstest van 68 vragen: het THIS/THAT-model 1.0 van FLock scoort 94,1%, terwijl Jev (gehoste System One-dienst) 76,5% haalt. Het bericht noemt dit een veelbelovend resultaat voor een gespecialiseerd beslissingsmodel en merkt op dat complexe taken met graafzoekopdrachten of meerstapsrekenwerk nog steeds uitdagend blijven.
In a test of 68 questions recorded by a third party for accuracy: - FLock's THIS / THAT Model 1.0: 94.1% - Jev (hosted System One service): 76.5% A promising result for a specialised decision model. Complex tasks requiring graph search or multi-step arithmetic remain
· 2 likesOpen on X
More like this
Snelle rijclassificatie in DuckDB met Jev
De auteur heeft een DuckDB-extensie uitgebracht die TypeSafe AI's Jev gebruikt om rijen in CSV/Parquet-bestanden of DuckDB-tabellen snel te classificeren, ongeveer 10 seconden voor 1k rijen—sneller dan een LLM en ergonomischer dan een classifier.
1.018 AI-papers classificeren met Jev voor $ 0,08
De auteur vatte elk paper samen met DeepSeek V4 Flash en stuurde vervolgens de titel, samenvatting en 24 kandidaat-onderwerpen naar Jev voor classificatie. Er werden 1.018 AI-papers verwerkt tegen $ 0,08 totale kosten en 256ms mediane end-to-end latentie per paper.
