Back to explore

API publik kompatibel Jev: generasi System One paralel cepat dengan SGLang

Terinspirasi oleh TypeSafe AI, penulis merilis API publik kompatibel Jev yang menjalankan model terbuka serupa Qwen3.6-35B-A3B, menggunakan SGLang radix cache untuk penggunaan ulang prefill dan generasi System One paralel cepat, menyelesaikan 64 tugas dalam kurang dari 1 detik.

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://github.com/ekzhang/openjev-sglang…

· 977 likesOpen on X