Back to explore

Використання Jev для автоматичної маршрутизації моделей: ідея та проблеми з кешем

Хтось запропонував використати Jev для автоматичної маршрутизації моделей: складні завдання — на потужні моделі, прості — на дешевші, щоб знизити витрати. Але зміна моделі ламає влучання в кеш і може підвищити витрати.

脑洞很大,有人想用 jev 来实现模型自动路由,就是复杂任务自动用高级模型,简单任务用低级模型,降本增效。但他完全没考虑切换模型后,缓存无法命中,升本增笑了,哈哈。

Використання Jev для автоматичної маршрутизації моделей: ідея та проблеми з кешем 1Використання Jev для автоматичної маршрутизації моделей: ідея та проблеми з кешем 2
· 0 likesOpen on X