Jev مقارنة بنماذج توليد النصوص
لا يولد Jev نصا حرا. يوضح فيديو مقارنة الفرق بين اتخاذ القرار بالتوازي وتوليد النص رمزا بعد رمز.
محرك LLM محلي على نمط Jev: استدلال في 40 مللي ثانية مخصص للحكم
يشير Taro L. Saito إلى أن محرك LLM محليًا، مثل Jev، يحقق استدلالًا في 40 مللي ثانية عبر التخلي عن توليد النص/JSON والتخصص في الحكم، ويعمل على DGX Spark.
Just like Jev, to think that a Local LLM engine capable of inference in 40ms is realized simply by abandoning text/json generation and specializing solely in judgment. It's running on DGX Spark, but anyway, it's incredibly fast.
· 1.3 ألف likesOpen on X
More like this
التسعير والتقييمات وأصل اسم Jev
يشرح خيط الإطلاق تقييمات سير عمل code + AI وسعر الإدخال المعلن والتوكنات الناتجة المجانية.
نموذج Jev: توليد الاحتمالات لاتخاذ القرار، أسرع 200 مرة وأرخص 400 مرة من نماذج اللغة الكبيرة
صُمم هذا النموذج لاتخاذ القرار بدلاً من توليد النص، حيث يُخرج احتمالات لكل خيار على التوازي بدلاً من استجابة رمزاً برمز. يشارك المؤلف مثالاً مبسطاً يقارن بين نماذج اللغة العادية ونموذج Jev هذا.
