Jev перевершує Gemini 2.5 Flash Lite за якістю та швидкістю в оцінці класифікатора
Malte Ubl запустив Jev від TypeSafe AI на наявній оцінці класифікатора: він наситив оцінку за якістю та був у 6 разів швидшим за Gemini 2.5 Flash Lite.
Вимірювання Jev: 18 000 суджень і перевірка калібрування ймовірностей
Автор витратив тиждень на вимірювання Jev: 18 000 суджень за повною специфікацією HTTP за 8 центів, а потім вручну розмітив 59 речень, щоб перевірити, чи щось означають ймовірності. Кожен інтервал виявився нижчим за прогноз.
Everyone posted a Jev demo last week. I spent the week measuring it instead. 18,000 judgments across a full HTTP spec. 8 cents. Then I hand labelled 59 sentences to check whether the probabilities mean anything. Every bucket came in below its prediction. 🧵
· 0 likesOpen on X
More like this
Швидка класифікація рядків у DuckDB з Jev
Автор випустив розширення DuckDB, яке використовує Jev від TypeSafe AI для швидкої класифікації рядків у CSV/Parquet-файлах або таблицях DuckDB, близько 10 секунд на 1k рядків—швидше за LLM і зручніше за класифікатор.
Класифікація 1018 статей про ШІ за допомогою Jev за $0,08
Автор підсумував кожну статтю за допомогою DeepSeek V4 Flash, після чого надіслав заголовок, анотацію та 24 можливі теми до Jev для класифікації. Оброблено 1018 статей про ШІ за загальних витрат $0,08 і медіанної наскрізної затримки 256 мс на статтю.
