Yazar, ilgilendiği bir senaryoda Jev, Semif (qwen3.5-4B sınıflandırma başlığından logits çıkarır) ve kendi ince ayarlı BERT benzeri modelinin performansını karşılaştırmış; Jev'in Semif'ten daha iyi ancak kendi modelinden biraz daha kötü olduğunu bulmuştur.
Recently I test the performance among Jev, Semif(qwen3.5-4B extract the logits from classification head) and my own fine-tuned bert-like model in one my interested scenario, Jev outperforms the Semif but a bit worse than mine
Malte Ubl, TypeSafe AI'ın Jev'ini mevcut bir sınıflandırıcı değerlendirmesinde çalıştırdı; kalitede değerlendirmeyi doyurdu ve Gemini 2.5 Flash Lite'tan 6 kat hızlıydı.
Yazar, TypeSafe AI'nin Jev'ini kullanarak CSV/Parquet dosyalarındaki veya DuckDB tablolarındaki satırları hızlıca sınıflandıran bir DuckDB eklentisi yayınladı; 1k satır için yaklaşık 10 saniye—LLM'den hızlı ve sınıflandırıcıdan daha kullanışlı.
Yazar her makaleyi DeepSeek V4 Flash ile özetledi, ardından başlık, özet ve 24 olası konuyu sınıflandırma için Jev'e gönderdi. 1.018 AI makalesi toplam 0,08 $ maliyet ve makale başına medyan 256ms uçtan uca gecikmeyle işlendi.
