Back to GitHub projects

jevcache: Кеш рішень для моделей Jev

Кеш рішень для моделей TypeSafe Jev для зменшення повторних витрат на інференс, з детермінованим відтворенням і спільними кешами.

该仓库实现了一个针对 TypeSafe Jev 模型的决策缓存,通过配置 TYPESAFE_API_KEY 和 JEVCACHE_BACKEND=jev 调用 SystemOne API,提供 CLI 和 HTTP 服务,支持缓存、重放和共享,真实集成并测试了 Jev 模型。

· 71 starsOpen on GitHub