Jev превосходит Gemini 2.5 Flash Lite по качеству и скорости в оценке классификатора
Malte Ubl прогнал Jev от TypeSafe AI на существующей оценке классификатора: он насытил оценку по качеству и оказался в 6 раз быстрее Gemini 2.5 Flash Lite.
Измерение Jev: 18 000 суждений и проверка калибровки вероятностей
Автор потратил неделю на измерение Jev: 18 000 суждений по полной спецификации HTTP за 8 центов, затем вручную разметил 59 предложений, чтобы проверить, значат ли что-то вероятности. Каждый интервал оказался ниже прогноза.
Everyone posted a Jev demo last week. I spent the week measuring it instead. 18,000 judgments across a full HTTP spec. 8 cents. Then I hand labelled 59 sentences to check whether the probabilities mean anything. Every bucket came in below its prediction. 🧵
· 0 likesOpen on X
More like this
Быстрая классификация строк в DuckDB с Jev
Автор выпустил расширение для DuckDB, использующее Jev от TypeSafe AI для быстрой классификации строк в CSV/Parquet-файлах или таблицах DuckDB: около 10 секунд на 1k строк — быстрее LLM и удобнее классификатора.
Классификация 1018 статей об ИИ с Jev за $0,08
Автор суммировал каждую статью с помощью DeepSeek V4 Flash, затем передал заголовок, аннотацию и 24 возможные темы в Jev для классификации. Обработано 1018 статей об ИИ при общих затратах $0,08 и медианной сквозной задержке 256 мс на статью.
