FLock.io publica una prueba de precisión de 68 preguntas registrada por terceros: el modelo THIS/THAT 1.0 de FLock obtiene un 94,1%, mientras que Jev (servicio System One alojado) alcanza un 76,5%. La publicación lo califica como un resultado prometedor para un modelo de decisión especializado, y señala que las tareas complejas que requieren búsqueda en grafos o aritmética de varios pasos siguen siendo un reto.
In a test of 68 questions recorded by a third party for accuracy: - FLock's THIS / THAT Model 1.0: 94.1% - Jev (hosted System One service): 76.5% A promising result for a specialised decision model. Complex tasks requiring graph search or multi-step arithmetic remain
Malte Ubl ejecutó Jev de TypeSafe AI en una evaluación de clasificador existente: saturó la evaluación en calidad y fue 6 veces más rápido que Gemini 2.5 Flash Lite.
El autor publicó una extensión de DuckDB que usa Jev de TypeSafe AI para clasificar rápidamente filas en archivos CSV/Parquet o tablas DuckDB, tardando unos 10 segundos por 1k filas, más rápido que un LLM y más ergonómico que un clasificador.
El autor resumió cada artículo con DeepSeek V4 Flash y luego envió el título, el resumen y 24 temas candidatos a Jev para su clasificación, procesando 1.018 artículos de IA con un coste total de 0,08 $ y una latencia mediana de 256 ms por artículo.
