Back to GitHub projects

Dohnuts.cpp: chạy mô hình System One cục bộ

Triển khai suy luận C++ gốc cho mô hình System One Dohnuts/Jev dựa trên llama.cpp. Cung cấp CLI cục bộ và API HTTP để chấm điểm quyết định mà không sinh văn bản, hỗ trợ CPU và tùy chọn GPU.

仓库主题含 jev 与 system-one-model,README 描述为 System One model 的 C++ 推理实现;它基于 llama.cpp 对 Dohnuts/Jev 模型进行本地集成,包含 CLI/HTTP API、量化与评测,是实质性的开发工具。

· 3 starsOpen on GitHub