55 gerçek niyet tanıma isteğinde Jev ortalama 0,78 sn, qwen3.8-flash ise 3 sn sürdü; yaklaşık 4 kat fark.
55条真实的意图识别需求,qwen3.8-flash 平均3s/个, jev 平均0.78s ,4倍的差距 #jev #llm #agent #harness #deepseek #qwen
Malte Ubl, TypeSafe AI'ın Jev'ini mevcut bir sınıflandırıcı değerlendirmesinde çalıştırdı; kalitede değerlendirmeyi doyurdu ve Gemini 2.5 Flash Lite'tan 6 kat hızlıydı.
Yazar, TypeSafe AI'nin Jev'ini kullanarak CSV/Parquet dosyalarındaki veya DuckDB tablolarındaki satırları hızlıca sınıflandıran bir DuckDB eklentisi yayınladı; 1k satır için yaklaşık 10 saniye—LLM'den hızlı ve sınıflandırıcıdan daha kullanışlı.
Yazar her makaleyi DeepSeek V4 Flash ile özetledi, ardından başlık, özet ve 24 olası konuyu sınıflandırma için Jev'e gönderdi. 1.018 AI makalesi toplam 0,08 $ maliyet ve makale başına medyan 256ms uçtan uca gecikmeyle işlendi.
