Back to GitHub projects

dan: Jev-kompatibel System One-modellservningsmotor

dan är ett Python-bibliotek och en server som omvandlar vilken kausal språkmodell med öppna vikter som helst till en System One-modell med Jev-kompatibelt API, genom att läsa sannolikheterna för etikett-tokens i en enda prefill. Innehåller kalibrerings- och LoRA-träningsverktyg.

该仓库明确实现 Jev-compatible System One 模型推理服务,提供 Jev API 兼容的 /v1/systemone 端点,并支持 TypeSafe SDK 连接,与 TypeSafe AI 的 Jev / System One 模型直接相关。

· 0 starsOpen on GitHub