Benchmark publik dengan 900 keputusan audit web nyata, jawaban Jev dan Opus 5 berdampingan, semua baris terbuka di bawah MIT. Jev mencetak 85,8/100, setara Opus 5.
Congrats on shipping Solomon. If you want a public yardstick for it: 900 real web audit decisions with Jev and Opus 5 answers side by side, all rows open, MIT. Jev matched Opus 5 on 85.8 of 100. Would be great to see where Solomon 27b lands:
Malte Ubl menjalankan Jev dari TypeSafe AI pada evaluasi klasifikasi yang ada; hasilnya memenuhi evaluasi dari sisi kualitas dan 6x lebih cepat dari Gemini 2.5 Flash Lite.
Penulis merilis ekstensi DuckDB yang menggunakan Jev dari TypeSafe AI untuk mengklasifikasikan baris dengan cepat di file CSV/Parquet atau tabel DuckDB, sekitar 10 detik untuk 1k baris—lebih cepat dari LLM dan lebih ergonomis daripada classifier.
Penulis merangkum setiap makalah dengan DeepSeek V4 Flash, lalu mengirim judul, ringkasan, dan 24 topik kandidat ke Jev untuk diklasifikasikan, memproses 1.018 makalah AI dengan total biaya $0,08 dan latensi end-to-end median 256ms per makalah.
