El autor compara el rendimiento de Jev, Semif (qwen3.5-4B extrayendo logits de una cabeza de clasificación) y un modelo tipo BERT ajustado por él mismo en un escenario de interés, encontrando que Jev supera a Semif pero es ligeramente peor que su modelo.
Recently I test the performance among Jev, Semif(qwen3.5-4B extract the logits from classification head) and my own fine-tuned bert-like model in one my interested scenario, Jev outperforms the Semif but a bit worse than mine
Malte Ubl ejecutó Jev de TypeSafe AI en una evaluación de clasificador existente: saturó la evaluación en calidad y fue 6 veces más rápido que Gemini 2.5 Flash Lite.
El autor publicó una extensión de DuckDB que usa Jev de TypeSafe AI para clasificar rápidamente filas en archivos CSV/Parquet o tablas DuckDB, tardando unos 10 segundos por 1k filas, más rápido que un LLM y más ergonómico que un clasificador.
El autor resumió cada artículo con DeepSeek V4 Flash y luego envió el título, el resumen y 24 temas candidatos a Jev para su clasificación, procesando 1.018 artículos de IA con un coste total de 0,08 $ y una latencia mediana de 256 ms por artículo.
