Benchmark público con 900 decisiones reales de auditoría web, respuestas de Jev y Opus 5 lado a lado, todas las filas abiertas bajo MIT. Jev obtuvo 85.8/100, igualando a Opus 5.
Congrats on shipping Solomon. If you want a public yardstick for it: 900 real web audit decisions with Jev and Opus 5 answers side by side, all rows open, MIT. Jev matched Opus 5 on 85.8 of 100. Would be great to see where Solomon 27b lands:
Malte Ubl ejecutó Jev de TypeSafe AI en una evaluación de clasificador existente: saturó la evaluación en calidad y fue 6 veces más rápido que Gemini 2.5 Flash Lite.
El autor publicó una extensión de DuckDB que usa Jev de TypeSafe AI para clasificar rápidamente filas en archivos CSV/Parquet o tablas DuckDB, tardando unos 10 segundos por 1k filas, más rápido que un LLM y más ergonómico que un clasificador.
El autor resumió cada artículo con DeepSeek V4 Flash y luego envió el título, el resumen y 24 temas candidatos a Jev para su clasificación, procesando 1.018 artículos de IA con un coste total de 0,08 $ y una latencia mediana de 256 ms por artículo.
