Back to explore

API pubblica compatibile con Jev: generazione parallela rapida di System One con SGLang

Ispirato da TypeSafe AI, l'autore ha rilasciato un'API pubblica compatibile con Jev che esegue un modello aperto comparabile Qwen3.6-35B-A3B, utilizzando SGLang radix cache per il riutilizzo del prefill e la generazione parallela rapida di System One, completando 64 attività in meno di 1 secondo.

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://github.com/ekzhang/openjev-sglang…

· 977 likesOpen on X