返回 GitHub 项目

Dohnuts.cpp:本地运行 System One 模型

基于 llama.cpp 的 Dohnuts/Jev System One 模型原生 C++ 推理实现。提供本地 CLI 与 HTTP API,可在 CPU 上完成决策评分而无需生成,并支持可选 GPU 加速。

仓库主题含 jev 与 system-one-model,README 描述为 System One model 的 C++ 推理实现;它基于 llama.cpp 对 Dohnuts/Jev 模型进行本地集成,包含 CLI/HTTP API、量化与评测,是实质性的开发工具。

· 3 Stars在 GitHub 打开