Back to GitHub projects

Dohnuts.cpp: รันโมเดล System One ในเครื่อง

การใช้งานอินเฟอเรนซ์ C++ ดั้งเดิมสำหรับโมเดล System One ของ Dohnuts/Jev ที่สร้างบน llama.cpp มี CLI และ HTTP API ในเครื่องสำหรับให้คะแนนการตัดสินใจโดยไม่ต้องสร้างข้อความ รองรับ CPU และ GPU (ไม่บังคับ)

仓库主题含 jev 与 system-one-model,README 描述为 System One model 的 C++ 推理实现;它基于 llama.cpp 对 Dohnuts/Jev 模型进行本地集成,包含 CLI/HTTP API、量化与评测,是实质性的开发工具。

· 3 starsOpen on GitHub