Penulis melakukan 662 tes akurasi pada Jev menggunakan dataset SMS Spam Collection dan Banking77 dari Kaggle, dengan hasil yang mengejutkan.
How accurate is Jev, really? I tested it with two Kaggle datasets 662 times, and the results were a bit surprising. I used datasets from Kaggle: - SMS Spam Collection: 5,574 English text messages, sampled 200 for a smoke test - Banking77: 13,000 real banking app queries, 77
Malte Ubl menjalankan Jev dari TypeSafe AI pada evaluasi klasifikasi yang ada; hasilnya memenuhi evaluasi dari sisi kualitas dan 6x lebih cepat dari Gemini 2.5 Flash Lite.
Penulis merilis ekstensi DuckDB yang menggunakan Jev dari TypeSafe AI untuk mengklasifikasikan baris dengan cepat di file CSV/Parquet atau tabel DuckDB, sekitar 10 detik untuk 1k baris—lebih cepat dari LLM dan lebih ergonomis daripada classifier.
Penulis merangkum setiap makalah dengan DeepSeek V4 Flash, lalu mengirim judul, ringkasan, dan 24 topik kandidat ke Jev untuk diklasifikasikan, memproses 1.018 makalah AI dengan total biaya $0,08 dan latensi end-to-end median 256ms per makalah.
