Jev ve metin üreten modeller
Jev serbest biçimli metin üretmez. Yan yana video, paralel karar alma ile token token metin üretimi arasındaki farkı gösterir.
Jev benzeri modeller için kaskad tasarım deseni
Küçük modelin her şeyi yanıtladığı, büyük modelin yalnızca belirsiz durumları ele aldığı az kullanılan kaskad desenini ve ilk verileri tanıtır.
Very underutilized design pattern no one is talking about (yet) for Jev-like models: cascade. A small model answers everything. A big model answers only what the small one is unsure about. In my runs the big one handled 13% of questions and the pair matched it alone — 90 vs
· 1 likesOpen on X
More like this
Fiyatlandırma, değerlendirmeler ve Jev adı
Lansman dizisi code + AI iş akışı değerlendirmelerini, duyurulan girdi fiyatını ve ücretsiz çıktı tokenlarını açıklar.
Jev Modeli: Karar verme için olasılık üretimi, LLM'lerden 200× daha hızlı ve 400× daha ucuz
Bu model metin üretimi yerine karar verme için tasarlanmıştır; token token yanıt vermek yerine her seçenek için olasılıkları paralel olarak üretir. Yazar, normal LLM'ler ile bu Jev modelinin basitleştirilmiş bir karşılaştırmasını paylaşıyor.
