Jev превосходит Gemini 2.5 Flash Lite по качеству и скорости в оценке классификатора
Malte Ubl прогнал Jev от TypeSafe AI на существующей оценке классификатора: он насытил оценку по качеству и оказался в 6 раз быстрее Gemini 2.5 Flash Lite.
Бенчмарки Jev: оценка точности и калибровки
Оценка Jev и девяти открытых чекпоинтов на 22 задачах показывает, что Jev лидирует по макроточности, но открытая модель 4B даёт лучше откалиброванные вероятности; jev-bench полностью открыт.
Jev Tests: Accuracy gave one ranking. Calibration gave another. We evaluated Jev and nine open checkpoints across 22 tasks. Jev led on macro accuracy. But an open 4B model produced better-calibrated probabilities. jev-bench is fully open 👇
· 0 likesOpen on X
More like this
Быстрая классификация строк в DuckDB с Jev
Автор выпустил расширение для DuckDB, использующее Jev от TypeSafe AI для быстрой классификации строк в CSV/Parquet-файлах или таблицах DuckDB: около 10 секунд на 1k строк — быстрее LLM и удобнее классификатора.
Классификация 1018 статей об ИИ с Jev за $0,08
Автор суммировал каждую статью с помощью DeepSeek V4 Flash, затем передал заголовок, аннотацию и 24 возможные темы в Jev для классификации. Обработано 1018 статей об ИИ при общих затратах $0,08 и медианной сквозной задержке 256 мс на статью.
