Back to explore

API publique compatible Jev : génération parallèle rapide de System One avec SGLang

Inspiré par TypeSafe AI, l'auteur a publié une API publique compatible Jev exécutant un modèle ouvert comparable Qwen3.6-35B-A3B, utilisant le cache radix de SGLang pour la réutilisation du prefill et une génération parallèle rapide de System One, réalisant 64 tâches en moins d'une seconde.

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://github.com/ekzhang/openjev-sglang…

· 977 likesOpen on X