Community builds · Yorick

Jevでモデル自動ルーティングのアイデアとキャッシュ問題

Jevでモデルを自動ルーティングし、複雑なタスクは高性能モデル、簡単なタスクは低コストモデルに振り分けてコスト削減を狙う案。ただしモデル切替でキャッシュが効かず、逆にコスト増になり得る。