Back to explore

Jev für automatisches Modell-Routing: Idee und Cache-Probleme

Jemand schlägt vor, mit Jev Modelle automatisch zu routen – komplexe Aufgaben an leistungsstarke, einfache an günstigere Modelle – um Kosten zu senken. Doch der Modellwechsel verhindert Cache-Treffer und kann die Kosten sogar erhöhen.

脑洞很大,有人想用 jev 来实现模型自动路由,就是复杂任务自动用高级模型,简单任务用低级模型,降本增效。但他完全没考虑切换模型后,缓存无法命中,升本增笑了,哈哈。

Jev für automatisches Modell-Routing: Idee und Cache-Probleme 1Jev für automatisches Modell-Routing: Idee und Cache-Probleme 2
· 0 likesOpen on X