Benchmark Heaven'ın JevBench karşılaştırması, Jev 1.13.0'ın açık/gizli testte %86,6 / %36,7, GPT-6 Luna'nın ise %99,6 / %95,5 puan aldığını gösteriyor. Luna JevBench'te hâlâ 30. sırada; maliyet ekseni (1.000 karar başına 0,135 $ vs 0,040 $) ve 50 altı kapı uygulaması açıklayıcı faktörler.
GPT-6 Luna (medium) gets nearly everything right: 99.6% public, 95.5% sealed. Jev 1.13.0: 86.6% and 36.7%. Luna still ranks #30 on JevBench. One column explains it: $0.135 per 1,000 decisions vs $0.040, Cost axis 36.0. Below 50, the gate applies. https://benchmarkheaven.com/jev-models/v1.4.1?compare=jev-1.13.0,gpt-6-luna…
Malte Ubl, TypeSafe AI'ın Jev'ini mevcut bir sınıflandırıcı değerlendirmesinde çalıştırdı; kalitede değerlendirmeyi doyurdu ve Gemini 2.5 Flash Lite'tan 6 kat hızlıydı.
Yazar, TypeSafe AI'nin Jev'ini kullanarak CSV/Parquet dosyalarındaki veya DuckDB tablolarındaki satırları hızlıca sınıflandıran bir DuckDB eklentisi yayınladı; 1k satır için yaklaşık 10 saniye—LLM'den hızlı ve sınıflandırıcıdan daha kullanışlı.
Yazar her makaleyi DeepSeek V4 Flash ile özetledi, ardından başlık, özet ve 24 olası konuyu sınıflandırma için Jev'e gönderdi. 1.018 AI makalesi toplam 0,08 $ maliyet ve makale başına medyan 256ms uçtan uca gecikmeyle işlendi.
