Back to explore

واجهة برمجة تطبيقات عامة متوافقة مع Jev: توليد System One متوازٍ سريع باستخدام SGLang

بإلهام من TypeSafe AI، أصدر المؤلف واجهة برمجة تطبيقات عامة متوافقة مع Jev تشغل نموذجًا مفتوحًا مماثلًا Qwen3.6-35B-A3B، وتستخدم ذاكرة SGLang radix المؤقتة لإعادة استخدام التعبئة المسبقة والتوليد المتوازي السريع لـ System One، مكملة 64 مهمة في أقل من ثانية.

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://github.com/ekzhang/openjev-sglang…

· 977 likesOpen on X