Ocena Jev i dziewięciu otwartych checkpointów na 22 zadaniach pokazuje, że Jev prowadzi w dokładności makro, ale otwarty model 4B daje lepiej skalibrowane prawdopodobieństwa; jev-bench jest w pełni otwarty.
Jev Tests: Accuracy gave one ranking. Calibration gave another. We evaluated Jev and nine open checkpoints across 22 tasks. Jev led on macro accuracy. But an open 4B model produced better-calibrated probabilities. jev-bench is fully open 👇
Malte Ubl uruchomił Jev od TypeSafe AI na istniejącej ewaluacji klasyfikatora: nasycił ewaluację pod względem jakości i był 6 razy szybszy niż Gemini 2.5 Flash Lite.
Autor wydał rozszerzenie DuckDB, które używa Jev od TypeSafe AI do szybkiej klasyfikacji wierszy w plikach CSV/Parquet lub tabelach DuckDB, około 10 sekund na 1k wierszy—szybciej niż LLM i wygodniej niż klasyfikator.
Autor streścił każdy artykuł za pomocą DeepSeek V4 Flash, a następnie przesłał tytuł, streszczenie i 24 możliwe tematy do Jev w celu klasyfikacji. Przetworzono 1018 artykułów o AI przy łącznym koszcie 0,08 USD i medianie opóźnienia end-to-end 256 ms na artykuł.
