Back to explore

Jev-kompatible öffentliche API: schnelle parallele System-One-Generierung mit SGLang

Inspiriert von TypeSafe AI veröffentlichte der Autor eine Jev-kompatible öffentliche API, die ein vergleichbares offenes Modell Qwen3.6-35B-A3B ausführt und SGLang Radix-Cache für Prefill-Wiederverwendung und schnelle parallele System-One-Generierung nutzt, wodurch 64 Aufgaben in unter 1 Sekunde erledigt werden.

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://github.com/ekzhang/openjev-sglang…

· 977 likesOpen on X