Back to explore

Jev gebruiken voor automatische modelroutering: idee en cacheproblemen

Iemand stelde voor om met Jev modellen automatisch te routeren: geavanceerde modellen voor complexe taken, goedkopere voor eenvoudige, om kosten te drukken. Maar bij het wisselen van model mist de cache en kunnen de kosten juist stijgen.

脑洞很大,有人想用 jev 来实现模型自动路由,就是复杂任务自动用高级模型,简单任务用低级模型,降本增效。但他完全没考虑切换模型后,缓存无法命中,升本增笑了,哈哈。

Jev gebruiken voor automatische modelroutering: idee en cacheproblemen 1Jev gebruiken voor automatische modelroutering: idee en cacheproblemen 2
· 0 likesOpen on X