Back to explore

開発者がJev分類器を称賛、マルチモデル推論ルーティングに活用

開発者Chris Dukes氏は、TypeSafeのJev分類器が良好に動作し、推論時に同時提供される複数モデルへのルーティングに適していると述べたが、8GB VRAMの制約がある。

Major shoutout to @typesafeai ; #Jev the #classifier works a treat, and is going to be great to route to multiple models served at once when it comes inference time... ...or at least, that would be my PROPER use-case if I wasn't kneecapped at 8GB VRAM 🥲🥲 many thanks for the

開発者がJev分類器を称賛、マルチモデル推論ルーティングに活用 1開発者がJev分類器を称賛、マルチモデル推論ルーティングに活用 2
· 0 likesOpen on X