Back to explore

Utiliser Jev pour le routage automatique de modèles : idée et pièges du cache

Quelqu'un propose d'utiliser Jev pour router automatiquement les modèles : modèles avancés pour les tâches complexes, modèles basiques pour les simples, afin de réduire les coûts. Mais changer de modèle casse le cache et peut augmenter les coûts.

脑洞很大,有人想用 jev 来实现模型自动路由,就是复杂任务自动用高级模型,简单任务用低级模型,降本增效。但他完全没考虑切换模型后,缓存无法命中,升本增笑了,哈哈。

Utiliser Jev pour le routage automatique de modèles : idée et pièges du cache 1Utiliser Jev pour le routage automatique de modèles : idée et pièges du cache 2
· 0 likesOpen on X