Posting ini mencatat bahwa menggunakan Jev untuk Evals tidak masalah, tetapi hambatan sebenarnya adalah menguji pengklasifikasi terhadap label manusia, bukan metode evaluasi itu sendiri.
Using Jev for Evals is fine, but testing classifiers against human labels is the real bottleneck, not the evaluation method itself.
Malte Ubl menjalankan Jev dari TypeSafe AI pada evaluasi klasifikasi yang ada; hasilnya memenuhi evaluasi dari sisi kualitas dan 6x lebih cepat dari Gemini 2.5 Flash Lite.
Penulis merilis ekstensi DuckDB yang menggunakan Jev dari TypeSafe AI untuk mengklasifikasikan baris dengan cepat di file CSV/Parquet atau tabel DuckDB, sekitar 10 detik untuk 1k baris—lebih cepat dari LLM dan lebih ergonomis daripada classifier.
Penulis merangkum setiap makalah dengan DeepSeek V4 Flash, lalu mengirim judul, ringkasan, dan 24 topik kandidat ke Jev untuk diklasifikasikan, memproses 1.018 makalah AI dengan total biaya $0,08 dan latensi end-to-end median 256ms per makalah.
