Jev verslaat Gemini 2.5 Flash Lite op kwaliteit en snelheid in classifier-evaluatie
Malte Ubl voerde Jev van TypeSafe AI uit op een bestaande classifier-evaluatie: het verzadigde de evaluatie op kwaliteit en was 6x sneller dan Gemini 2.5 Flash Lite.
Prestatievergelijking tussen Jev, Semif en een fijn afgestemd BERT-achtig model
De auteur vergelijkt de prestaties van Jev, Semif (qwen3.5-4B extraheert logits uit een classificatiehoofd) en een zelf fijn afgestemd BERT-achtig model in een interessant scenario, en vindt dat Jev beter presteert dan Semif maar iets slechter dan het eigen model.
Recently I test the performance among Jev, Semif(qwen3.5-4B extract the logits from classification head) and my own fine-tuned bert-like model in one my interested scenario, Jev outperforms the Semif but a bit worse than mine
· 0 likesOpen on X
More like this
Snelle rijclassificatie in DuckDB met Jev
De auteur heeft een DuckDB-extensie uitgebracht die TypeSafe AI's Jev gebruikt om rijen in CSV/Parquet-bestanden of DuckDB-tabellen snel te classificeren, ongeveer 10 seconden voor 1k rijen—sneller dan een LLM en ergonomischer dan een classifier.
1.018 AI-papers classificeren met Jev voor $ 0,08
De auteur vatte elk paper samen met DeepSeek V4 Flash en stuurde vervolgens de titel, samenvatting en 24 kandidaat-onderwerpen naar Jev voor classificatie. Er werden 1.018 AI-papers verwerkt tegen $ 0,08 totale kosten en 256ms mediane end-to-end latentie per paper.
