Back to GitHub projects

Dohnuts.cpp: System One 모델을 로컬에서 실행

llama.cpp 기반 Dohnuts/Jev System One 모델의 네이티브 C++ 추론 구현입니다. 생성 없이 결정을 점수화하는 로컬 CLI와 HTTP API를 제공하며 CPU 및 선택적 GPU를 지원합니다.

仓库主题含 jev 与 system-one-model,README 描述为 System One model 的 C++ 推理实现;它基于 llama.cpp 对 Dohnuts/Jev 模型进行本地集成,包含 CLI/HTTP API、量化与评测,是实质性的开发工具。

· 3 starsOpen on GitHub