Seorang pengguna menjalankan benchmark khusus yang membandingkan Jev dengan GPT-Terra untuk penyerapan dokumen di basis pengetahuan perusahaannya, menemukan Jev 94% lebih cepat dan 98,6% lebih murah, meskipun keandalannya belum sesuai harapan.
Ran a custom benchmark comparing Jev with GPT-Terra, the current main model powering document ingestion for our company knowledge base. The results are promising, although reliability was not quite where I expected it to be. As expected, Jev was 94% faster and 98.6% cheaper than
Malte Ubl menjalankan Jev dari TypeSafe AI pada evaluasi klasifikasi yang ada; hasilnya memenuhi evaluasi dari sisi kualitas dan 6x lebih cepat dari Gemini 2.5 Flash Lite.
Penulis merilis ekstensi DuckDB yang menggunakan Jev dari TypeSafe AI untuk mengklasifikasikan baris dengan cepat di file CSV/Parquet atau tabel DuckDB, sekitar 10 detik untuk 1k baris—lebih cepat dari LLM dan lebih ergonomis daripada classifier.
Penulis merangkum setiap makalah dengan DeepSeek V4 Flash, lalu mengirim judul, ringkasan, dan 24 topik kandidat ke Jev untuk diklasifikasikan, memproses 1.018 makalah AI dengan total biaya $0,08 dan latensi end-to-end median 256ms per makalah.
