Jev ve metin üreten modeller
Jev serbest biçimli metin üretmez. Yan yana video, paralel karar alma ile token token metin üretimi arasındaki farkı gösterir.
Kev-0.6B Jev sınıfı karar modeli Apple Neural Engine üzerinde tek ileri geçiş çalıştırıyor
Kev-0.6B, Apple Neural Engine üzerinde çalışan Jev sınıfı bir karar modelidir. Tek ileri geçiş, token üretimi yok, karar başına 7,18 ms ve p99 7,53 ms. Yerleşim henüz iddia edilmiyor; üç şekilde ölçülüyor: yalnızca CPU sıfır döndürüyor ve Apple'ın xctrace Neural Engine aracı 303 sayıyor.
Kev-0.6B, a Jev-class decision model, running on the Apple Neural Engine. One forward pass, no token generation. 7.18 ms per decision, p99 7.53. Placement isn't asserted yet, it's measured three ways: CPU-only returns zeros, Apple's xctrace Neural Engine instrument counts 303
· 1 likesOpen on X
More like this
Fiyatlandırma, değerlendirmeler ve Jev adı
Lansman dizisi code + AI iş akışı değerlendirmelerini, duyurulan girdi fiyatını ve ücretsiz çıktı tokenlarını açıklar.
Jev Modeli: Karar verme için olasılık üretimi, LLM'lerden 200× daha hızlı ve 400× daha ucuz
Bu model metin üretimi yerine karar verme için tasarlanmıştır; token token yanıt vermek yerine her seçenek için olasılıkları paralel olarak üretir. Yazar, normal LLM'ler ile bu Jev modelinin basitleştirilmiş bir karşılaştırmasını paylaşıyor.
