Back to explore

Jev-compatibele publieke API: snelle parallelle System One-generatie met SGLang

Geïnspireerd door TypeSafe AI heeft de auteur een Jev-compatibele publieke API uitgebracht die een vergelijkbaar open model Qwen3.6-35B-A3B draait, met SGLang radix cache voor prefill-hergebruik en snelle parallelle System One-generatie, waarmee 64 taken in minder dan 1 seconde worden voltooid.

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://github.com/ekzhang/openjev-sglang…

· 977 likesOpen on X