Back to explore

API pública compatível com Jev: geração paralela rápida do System One com SGLang

Inspirado pelo TypeSafe AI, o autor lançou uma API pública compatível com Jev que executa um modelo aberto comparável Qwen3.6-35B-A3B, usando SGLang radix cache para reutilização de prefill e geração paralela rápida do System One, concluindo 64 tarefas em menos de 1 segundo.

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://github.com/ekzhang/openjev-sglang…

· 977 likesOpen on X