Back to explore

Jev 호환 공개 API: SGLang 기반 고속 병렬 System One 생성

TypeSafe AI에서 영감을 받아 저자는 Jev 호환 공개 API를 공개했습니다. 유사한 오픈 모델 Qwen3.6-35B-A3B를 실행하고 SGLang radix cache를 사용해 프리필 재사용과 빠른 병렬 System One 생성을 구현하여 64개 작업을 1초 이내에 완료합니다.

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://github.com/ekzhang/openjev-sglang…

· 977 likesOpen on X