Jev ve metin üreten modeller
Jev serbest biçimli metin üretmez. Yan yana video, paralel karar alma ile token token metin üretimi arasındaki farkı gösterir.
Jev'in OpenAI uyumlu API'si ve ağırlıksız sinir ağı mekanizması
Jev'in OpenAI uyumlu sohbet API'sini, arama tabloları veya tamsayı belleği kullanan ağırlıksız sinir ağı mekanizmasını ve 5,1 µs çıkarımı tanıtır.
What the heck is this? Keep up with Jev or something ・OpenAI-compatible chat API ・Weightless Neural Network type mechanism that uses lookup tables or integer memory on RAM, instead of a massive number of floating-point parameters in a neural network ・5.1 µs inference?
· 11 likesOpen on X
More like this
Fiyatlandırma, değerlendirmeler ve Jev adı
Lansman dizisi code + AI iş akışı değerlendirmelerini, duyurulan girdi fiyatını ve ücretsiz çıktı tokenlarını açıklar.
Jev Modeli: Karar verme için olasılık üretimi, LLM'lerden 200× daha hızlı ve 400× daha ucuz
Bu model metin üretimi yerine karar verme için tasarlanmıştır; token token yanıt vermek yerine her seçenek için olasılıkları paralel olarak üretir. Yazar, normal LLM'ler ile bu Jev modelinin basitleştirilmiş bir karşılaştırmasını paylaşıyor.
