Jev ve metin üreten modeller
Jev serbest biçimli metin üretmez. Yan yana video, paralel karar alma ile token token metin üretimi arasındaki farkı gösterir.
Jev tarzı yerel LLM motoru: yalnızca yargı için 40 ms çıkarım
Taro L. Saito, Jev gibi yerel bir LLM motorunun metin/JSON üretimini bırakıp yargıya odaklanarak DGX Spark üzerinde 40 ms çıkarım sağladığını belirtiyor.
Just like Jev, to think that a Local LLM engine capable of inference in 40ms is realized simply by abandoning text/json generation and specializing solely in judgment. It's running on DGX Spark, but anyway, it's incredibly fast.
· 1,3 B likesOpen on X
More like this
Fiyatlandırma, değerlendirmeler ve Jev adı
Lansman dizisi code + AI iş akışı değerlendirmelerini, duyurulan girdi fiyatını ve ücretsiz çıktı tokenlarını açıklar.
Jev Modeli: Karar verme için olasılık üretimi, LLM'lerden 200× daha hızlı ve 400× daha ucuz
Bu model metin üretimi yerine karar verme için tasarlanmıştır; token token yanıt vermek yerine her seçenek için olasılıkları paralel olarak üretir. Yazar, normal LLM'ler ile bu Jev modelinin basitleştirilmiş bir karşılaştırmasını paylaşıyor.
