Back to explore

Ý tưởng định tuyến mô hình tự động với Jev và vấn đề bộ nhớ đệm

Có người đề xuất dùng Jev để định tuyến mô hình tự động: việc phức tạp dùng mô hình cao cấp, việc đơn giản dùng mô hình rẻ hơn để tiết kiệm chi phí. Nhưng đổi mô hình khiến cache không trúng và có thể tăng chi phí.

脑洞很大,有人想用 jev 来实现模型自动路由,就是复杂任务自动用高级模型,简单任务用低级模型,降本增效。但他完全没考虑切换模型后,缓存无法命中,升本增笑了,哈哈。

Ý tưởng định tuyến mô hình tự động với Jev và vấn đề bộ nhớ đệm 1Ý tưởng định tuyến mô hình tự động với Jev và vấn đề bộ nhớ đệm 2
· 0 likesOpen on X