FLock.io veröffentlicht einen von Dritten aufgezeichneten Genauigkeitstest mit 68 Fragen: Das THIS/THAT-Modell 1.0 von FLock erreicht 94,1 %, während Jev (gehosteter System-One-Dienst) 76,5 % erzielt. Der Beitrag nennt dies ein vielversprechendes Ergebnis für ein spezialisiertes Entscheidungsmodell und merkt an, dass komplexe Aufgaben mit Graphsuche oder mehrstufiger Arithmetik weiterhin herausfordernd bleiben.
In a test of 68 questions recorded by a third party for accuracy: - FLock's THIS / THAT Model 1.0: 94.1% - Jev (hosted System One service): 76.5% A promising result for a specialised decision model. Complex tasks requiring graph search or multi-step arithmetic remain
Malte Ubl testete Jev von TypeSafe AI in einem bestehenden Klassifikator-Eval: Es sättigte das Eval qualitativ und war 6-mal schneller als Gemini 2.5 Flash Lite.
Der Autor hat eine DuckDB-Erweiterung veröffentlicht, die TypeSafe AIs Jev nutzt, um Zeilen in CSV/Parquet-Dateien oder DuckDB-Tabellen schnell zu klassifizieren – etwa 10 Sekunden für 1k Zeilen, schneller als ein LLM und ergonomischer als ein Klassifikator.
Der Autor fasste jedes Paper mit DeepSeek V4 Flash zusammen und übergab Titel, Zusammenfassung und 24 mögliche Themen an Jev zur Klassifizierung. 1.018 KI-Papers wurden bei 0,08 $ Gesamtkosten und 256 ms medianer End-to-End-Latenz pro Paper verarbeitet.
