Jev перевершує Gemini 2.5 Flash Lite за якістю та швидкістю в оцінці класифікатора
Malte Ubl запустив Jev від TypeSafe AI на наявній оцінці класифікатора: він наситив оцінку за якістю та був у 6 разів швидшим за Gemini 2.5 Flash Lite.
Вузьке місце використання Jev для Evals
У дописі зазначається, що використання Jev для Evals є нормальним, але справжнє вузьке місце — це тестування класифікаторів на людських мітках, а не сам метод оцінювання.
Using Jev for Evals is fine, but testing classifiers against human labels is the real bottleneck, not the evaluation method itself.
· 2 likesOpen on X
More like this
Швидка класифікація рядків у DuckDB з Jev
Автор випустив розширення DuckDB, яке використовує Jev від TypeSafe AI для швидкої класифікації рядків у CSV/Parquet-файлах або таблицях DuckDB, близько 10 секунд на 1k рядків—швидше за LLM і зручніше за класифікатор.
Класифікація 1018 статей про ШІ за допомогою Jev за $0,08
Автор підсумував кожну статтю за допомогою DeepSeek V4 Flash, після чого надіслав заголовок, анотацію та 24 можливі теми до Jev для класифікації. Оброблено 1018 статей про ШІ за загальних витрат $0,08 і медіанної наскрізної затримки 256 мс на статтю.
