Autor przetestował Jev do monitorowania CoT na 2200 śladach myśli, donosząc, że przewyższa Sonnet 5 w klasyfikacji i jest 3,7 razy szybszy od Luna i 6 razy szybszy od Sonnet.
I ran Jev against Claude and ChatGPT for CoT Monitoring on 2,200 thought traces. It beat Sonnet 5 at classification, but the main selling point is the speed, classifying 3.7x faster than Luna and 6x faster than Sonnet! 🧵
Malte Ubl uruchomił Jev od TypeSafe AI na istniejącej ewaluacji klasyfikatora: nasycił ewaluację pod względem jakości i był 6 razy szybszy niż Gemini 2.5 Flash Lite.
Autor wydał rozszerzenie DuckDB, które używa Jev od TypeSafe AI do szybkiej klasyfikacji wierszy w plikach CSV/Parquet lub tabelach DuckDB, około 10 sekund na 1k wierszy—szybciej niż LLM i wygodniej niż klasyfikator.
Autor streścił każdy artykuł za pomocą DeepSeek V4 Flash, a następnie przesłał tytuł, streszczenie i 24 możliwe tematy do Jev w celu klasyfikacji. Przetworzono 1018 artykułów o AI przy łącznym koszcie 0,08 USD i medianie opóźnienia end-to-end 256 ms na artykuł.
