Back to explore

Jev로 모델 자동 라우팅 아이디어와 캐시 문제

Jev로 모델을 자동 라우팅해 복잡한 작업은 고급 모델, 간단한 작업은 저급 모델로 처리해 비용을 줄이자는 아이디어. 다만 모델 전환 시 캐시가 적중하지 않아 오히려 비용이 늘 수 있다.

脑洞很大,有人想用 jev 来实现模型自动路由,就是复杂任务自动用高级模型,简单任务用低级模型,降本增效。但他完全没考虑切换模型后,缓存无法命中,升本增笑了,哈哈。

Jev로 모델 자동 라우팅 아이디어와 캐시 문제 1Jev로 모델 자동 라우팅 아이디어와 캐시 문제 2
· 0 likesOpen on X