Jev ve metin üreten modeller
Jev serbest biçimli metin üretmez. Yan yana video, paralel karar alma ile token token metin üretimi arasındaki farkı gösterir.
Jev Engineering: hız ve maliyet için akıl yürütmeyi karar vermeden ayırma
Jev Engineering'in akıl yürütmeyi karar vermeden nasıl ayırdığını, pahalı modeli her karar döngüsünden çıkardığını ve istekleri en ucuz yeterli modele yönlendirdiğini açıklar; testlerde 193 kata kadar hızlı ve 444 kat daha ucuz.
Jev Engineering separates reasoning from decision-making, moves the expensive model out of every decision loop and routes requests through the cheapest capable model instead, running up to 193x faster and 444x cheaper in tests.
· 46 likesOpen on X
More like this
Fiyatlandırma, değerlendirmeler ve Jev adı
Lansman dizisi code + AI iş akışı değerlendirmelerini, duyurulan girdi fiyatını ve ücretsiz çıktı tokenlarını açıklar.
Jev Modeli: Karar verme için olasılık üretimi, LLM'lerden 200× daha hızlı ve 400× daha ucuz
Bu model metin üretimi yerine karar verme için tasarlanmıştır; token token yanıt vermek yerine her seçenek için olasılıkları paralel olarak üretir. Yazar, normal LLM'ler ile bu Jev modelinin basitleştirilmiş bir karşılaştırmasını paylaşıyor.
