Bir kullanıcı, şirket bilgi tabanında belge alımı için Jev ile GPT-Terra'yı karşılaştıran özel bir kıyaslama yaptı; Jev %94 daha hızlı ve %98,6 daha ucuz çıktı, ancak güvenilirlik beklentilerin altında kaldı.
Ran a custom benchmark comparing Jev with GPT-Terra, the current main model powering document ingestion for our company knowledge base. The results are promising, although reliability was not quite where I expected it to be. As expected, Jev was 94% faster and 98.6% cheaper than
Malte Ubl, TypeSafe AI'ın Jev'ini mevcut bir sınıflandırıcı değerlendirmesinde çalıştırdı; kalitede değerlendirmeyi doyurdu ve Gemini 2.5 Flash Lite'tan 6 kat hızlıydı.
Yazar, TypeSafe AI'nin Jev'ini kullanarak CSV/Parquet dosyalarındaki veya DuckDB tablolarındaki satırları hızlıca sınıflandıran bir DuckDB eklentisi yayınladı; 1k satır için yaklaşık 10 saniye—LLM'den hızlı ve sınıflandırıcıdan daha kullanışlı.
Yazar her makaleyi DeepSeek V4 Flash ile özetledi, ardından başlık, özet ve 24 olası konuyu sınıflandırma için Jev'e gönderdi. 1.018 AI makalesi toplam 0,08 $ maliyet ve makale başına medyan 256ms uçtan uca gecikmeyle işlendi.
