Back to explore

Un développeur salue le classifieur Jev pour le routage d'inférence multi-modèles

Le développeur Chris Dukes déclare que le classifieur Jev de TypeSafe fonctionne bien et convient au routage vers plusieurs modèles servis simultanément à l'inférence, mais est limité par 8 Go de VRAM.

Major shoutout to @typesafeai ; #Jev the #classifier works a treat, and is going to be great to route to multiple models served at once when it comes inference time... ...or at least, that would be my PROPER use-case if I wasn't kneecapped at 8GB VRAM 🥲🥲 many thanks for the

Un développeur salue le classifieur Jev pour le routage d'inférence multi-modèles 1Un développeur salue le classifieur Jev pour le routage d'inférence multi-modèles 2
· 0 likesOpen on X