Post zauważa, że używanie Jev do Evals jest w porządku, ale prawdziwym wąskim gardłem jest testowanie klasyfikatorów względem ludzkich etykiet, a nie sama metoda oceny.
Using Jev for Evals is fine, but testing classifiers against human labels is the real bottleneck, not the evaluation method itself.
Malte Ubl uruchomił Jev od TypeSafe AI na istniejącej ewaluacji klasyfikatora: nasycił ewaluację pod względem jakości i był 6 razy szybszy niż Gemini 2.5 Flash Lite.
Autor wydał rozszerzenie DuckDB, które używa Jev od TypeSafe AI do szybkiej klasyfikacji wierszy w plikach CSV/Parquet lub tabelach DuckDB, około 10 sekund na 1k wierszy—szybciej niż LLM i wygodniej niż klasyfikator.
Autor streścił każdy artykuł za pomocą DeepSeek V4 Flash, a następnie przesłał tytuł, streszczenie i 24 możliwe tematy do Jev w celu klasyfikacji. Przetworzono 1018 artykułów o AI przy łącznym koszcie 0,08 USD i medianie opóźnienia end-to-end 256 ms na artykuł.
