Back to GitHub projects

jevcache: Cache keputusan untuk model Jev

Cache keputusan untuk model TypeSafe Jev untuk mengurangi biaya inferensi berulang, dengan pemutaran deterministik dan cache yang dapat dibagikan.

该仓库实现了一个针对 TypeSafe Jev 模型的决策缓存,通过配置 TYPESAFE_API_KEY 和 JEVCACHE_BACKEND=jev 调用 SystemOne API,提供 CLI 和 HTTP 服务,支持缓存、重放和共享,真实集成并测试了 Jev 模型。

· 71 starsOpen on GitHub