Jev ve metin üreten modeller
Jev serbest biçimli metin üretmez. Yan yana video, paralel karar alma ile token token metin üretimi arasındaki farkı gösterir.
Jev vs Gemini: Yapılandırılmış çıktı işleme testi
Yazar, parti başına yaklaşık 300 soru olacak şekilde grubu genişletti. Jev başarıyla yanıt verirken, Gemini hiçbir şey üretmeden tüm istekleri reddetti. Girdi yalnızca ~55k token idi, bağlam penceresi ise ~1M token idi; bu da Gemini'nin yapılandırılmış çıktıyı zorunlu kılma yönteminde bir sorun olduğunu gösteriyor.
5/7 Then I widened the batch to roughly 300 questions per call. ✅ Jev answered. ❌ Gemini rejected all 300 test requests before generating anything. The input was only ~55k tokens in a ~1M-token context window. The problem was how Gemini enforces structured output using a
· 0 likesOpen on X
More like this
Fiyatlandırma, değerlendirmeler ve Jev adı
Lansman dizisi code + AI iş akışı değerlendirmelerini, duyurulan girdi fiyatını ve ücretsiz çıktı tokenlarını açıklar.
Jev Modeli: Karar verme için olasılık üretimi, LLM'lerden 200× daha hızlı ve 400× daha ucuz
Bu model metin üretimi yerine karar verme için tasarlanmıştır; token token yanıt vermek yerine her seçenek için olasılıkları paralel olarak üretir. Yazar, normal LLM'ler ile bu Jev modelinin basitleştirilmiş bir karşılaştırmasını paylaşıyor.
