Back to GitHub projects

dan: Jev-kompatible System-One-Modell-Serving-Engine

dan ist eine Python-Bibliothek und ein Server, die jedes kausale LM mit offenen Gewichten in ein System One-Modell mit Jev-kompatibler API verwandeln, indem sie die Wahrscheinlichkeiten der Label-Token in einem einzigen Prefill liest. Es enthält Kalibrierungs- und LoRA-Trainingswerkzeuge.

该仓库明确实现 Jev-compatible System One 模型推理服务,提供 Jev API 兼容的 /v1/systemone 端点,并支持 TypeSafe SDK 连接,与 TypeSafe AI 的 Jev / System One 模型直接相关。

· 0 starsOpen on GitHub