Back to explore

ไอเดียใช้ Jev ทำ automatic model routing และปัญห cache

มีคนเสนอใช้ Jev ทำ automatic model routing งานซับซ้อนใช้โมเดลระดับสูง งานง่ายใช้โมเดลระดับล่างเพื่อลดต้นทุน แต่การสลับโมเดลทำให้ cache ไม่ทำงาน อาจทำให้ต้นทุนสูงขึ้น

脑洞很大,有人想用 jev 来实现模型自动路由,就是复杂任务自动用高级模型,简单任务用低级模型,降本增效。但他完全没考虑切换模型后,缓存无法命中,升本增笑了,哈哈。

ไอเดียใช้ Jev ทำ automatic model routing และปัญห cache 1ไอเดียใช้ Jev ทำ automatic model routing และปัญห cache 2
· 0 likesOpen on X