Penulis menguji Jev untuk pemantauan CoT pada 2.200 jejak pemikiran, melaporkan bahwa Jev mengalahkan Sonnet 5 dalam klasifikasi dan 3,7 kali lebih cepat dari Luna serta 6 kali lebih cepat dari Sonnet.
I ran Jev against Claude and ChatGPT for CoT Monitoring on 2,200 thought traces. It beat Sonnet 5 at classification, but the main selling point is the speed, classifying 3.7x faster than Luna and 6x faster than Sonnet! 🧵
Malte Ubl menjalankan Jev dari TypeSafe AI pada evaluasi klasifikasi yang ada; hasilnya memenuhi evaluasi dari sisi kualitas dan 6x lebih cepat dari Gemini 2.5 Flash Lite.
Penulis merilis ekstensi DuckDB yang menggunakan Jev dari TypeSafe AI untuk mengklasifikasikan baris dengan cepat di file CSV/Parquet atau tabel DuckDB, sekitar 10 detik untuk 1k baris—lebih cepat dari LLM dan lebih ergonomis daripada classifier.
Penulis merangkum setiap makalah dengan DeepSeek V4 Flash, lalu mengirim judul, ringkasan, dan 24 topik kandidat ke Jev untuk diklasifikasikan, memproses 1.018 makalah AI dengan total biaya $0,08 dan latensi end-to-end median 256ms per makalah.
