Yazar bir haftayı Jev'i ölçmekle geçirdi: tam bir HTTP spesifikasyonu üzerinde 8 sente 18.000 yargı, ardından olasılıkların anlamlı olup olmadığını kontrol etmek için 59 cümleyi elle etiketledi. Her aralık tahmininin altında kaldı.
Everyone posted a Jev demo last week. I spent the week measuring it instead. 18,000 judgments across a full HTTP spec. 8 cents. Then I hand labelled 59 sentences to check whether the probabilities mean anything. Every bucket came in below its prediction. 🧵
Malte Ubl, TypeSafe AI'ın Jev'ini mevcut bir sınıflandırıcı değerlendirmesinde çalıştırdı; kalitede değerlendirmeyi doyurdu ve Gemini 2.5 Flash Lite'tan 6 kat hızlıydı.
Yazar, TypeSafe AI'nin Jev'ini kullanarak CSV/Parquet dosyalarındaki veya DuckDB tablolarındaki satırları hızlıca sınıflandıran bir DuckDB eklentisi yayınladı; 1k satır için yaklaşık 10 saniye—LLM'den hızlı ve sınıflandırıcıdan daha kullanışlı.
Yazar her makaleyi DeepSeek V4 Flash ile özetledi, ardından başlık, özet ve 24 olası konuyu sınıflandırma için Jev'e gönderdi. 1.018 AI makalesi toplam 0,08 $ maliyet ve makale başına medyan 256ms uçtan uca gecikmeyle işlendi.
