Jev превосходит Gemini 2.5 Flash Lite по качеству и скорости в оценке классификатора
Malte Ubl прогнал Jev от TypeSafe AI на существующей оценке классификатора: он насытил оценку по качеству и оказался в 6 раз быстрее Gemini 2.5 Flash Lite.
Узкое место использования Jev для Evals
В посте отмечается, что использование Jev для Evals нормально, но настоящее узкое место — это тестирование классификаторов на человеческих метках, а не сам метод оценки.
Using Jev for Evals is fine, but testing classifiers against human labels is the real bottleneck, not the evaluation method itself.
· 2 likesOpen on X
More like this
Быстрая классификация строк в DuckDB с Jev
Автор выпустил расширение для DuckDB, использующее Jev от TypeSafe AI для быстрой классификации строк в CSV/Parquet-файлах или таблицах DuckDB: около 10 секунд на 1k строк — быстрее LLM и удобнее классификатора.
Классификация 1018 статей об ИИ с Jev за $0,08
Автор суммировал каждую статью с помощью DeepSeek V4 Flash, затем передал заголовок, аннотацию и 24 возможные темы в Jev для классификации. Обработано 1018 статей об ИИ при общих затратах $0,08 и медианной сквозной задержке 256 мс на статью.
