Back to explore

Использование Jev для автоматической маршрутизации моделей: идея и проблемы с кэшем

Кто-то предложил использовать Jev для автоматической маршрутизации моделей: сложные задачи — на продвинутые модели, простые — на дешёвые, чтобы снизить затраты. Но при смене модели кэш не попадает, и стоимость может вырасти.

脑洞很大,有人想用 jev 来实现模型自动路由,就是复杂任务自动用高级模型,简单任务用低级模型,降本增效。但他完全没考虑切换模型后,缓存无法命中,升本增笑了,哈哈。

Использование Jev для автоматической маршрутизации моделей: идея и проблемы с кэшем 1Использование Jev для автоматической маршрутизации моделей: идея и проблемы с кэшем 2
· 0 likesOpen on X