Back to explore

Публичный API, совместимый с Jev: быстрая параллельная генерация System One на SGLang

Вдохновленный TypeSafe AI, автор выпустил публичный API, совместимый с Jev, который запускает сопоставимую открытую модель Qwen3.6-35B-A3B и использует SGLang radix cache для повторного использования префилла и быстрой параллельной генерации System One, выполняя 64 задачи менее чем за 1 секунду.

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://github.com/ekzhang/openjev-sglang…

· 977 likesOpen on X