Back to explore

Usare Jev per il routing automatico dei modelli: idea e problemi di cache

Qualcuno ha proposto di usare Jev per il routing automatico dei modelli: modelli avanzati per compiti complessi, modelli economici per quelli semplici, per ridurre i costi. Ma cambiando modello la cache non colpisce e i costi possono salire.

脑洞很大,有人想用 jev 来实现模型自动路由,就是复杂任务自动用高级模型,简单任务用低级模型,降本增效。但他完全没考虑切换模型后,缓存无法命中,升本增笑了,哈哈。

Usare Jev per il routing automatico dei modelli: idea e problemi di cache 1Usare Jev per il routing automatico dei modelli: idea e problemi di cache 2
· 0 likesOpen on X