社区实践 · Yorick

用 Jev 做模型自动路由的脑洞与缓存问题

有人设想用 Jev 实现模型自动路由，复杂任务走高级模型、简单任务走低级模型以降本增效，但切换模型会导致缓存无法命中，反而可能增加成本。