Back to explore

Usar Jev para enrutamiento automático de modelos: idea y problemas de caché

Alguien propuso usar Jev para enrutar modelos automáticamente: modelos avanzados para tareas complejas y básicos para las simples, para reducir costos; pero al cambiar de modelo el caché no acierta y podría encarecerlo.

脑洞很大,有人想用 jev 来实现模型自动路由,就是复杂任务自动用高级模型,简单任务用低级模型,降本增效。但他完全没考虑切换模型后,缓存无法命中,升本增笑了,哈哈。

Usar Jev para enrutamiento automático de modelos: idea y problemas de caché 1Usar Jev para enrutamiento automático de modelos: idea y problemas de caché 2
· 0 likesOpen on X