Jev перевершує Gemini 2.5 Flash Lite за якістю та швидкістю в оцінці класифікатора
Malte Ubl запустив Jev від TypeSafe AI на наявній оцінці класифікатора: він наситив оцінку за якістю та був у 6 разів швидшим за Gemini 2.5 Flash Lite.
Бенчмарки Jev: оцінка точності та калібрування
Оцінка Jev і дев'яти відкритих чекпойнтів на 22 завданнях показує, що Jev лідирує за макроточністю, але відкрита модель 4B дає краще відкалібровані ймовірності; jev-bench повністю відкритий.
Jev Tests: Accuracy gave one ranking. Calibration gave another. We evaluated Jev and nine open checkpoints across 22 tasks. Jev led on macro accuracy. But an open 4B model produced better-calibrated probabilities. jev-bench is fully open 👇
· 0 likesOpen on X
More like this
Швидка класифікація рядків у DuckDB з Jev
Автор випустив розширення DuckDB, яке використовує Jev від TypeSafe AI для швидкої класифікації рядків у CSV/Parquet-файлах або таблицях DuckDB, близько 10 секунд на 1k рядків—швидше за LLM і зручніше за класифікатор.
Класифікація 1018 статей про ШІ за допомогою Jev за $0,08
Автор підсумував кожну статтю за допомогою DeepSeek V4 Flash, після чого надіслав заголовок, анотацію та 24 можливі теми до Jev для класифікації. Оброблено 1018 статей про ШІ за загальних витрат $0,08 і медіанної наскрізної затримки 256 мс на статтю.
