Back to explore

Desenvolvedor elogia o classificador Jev para roteamento de inferência multimodelo

O desenvolvedor Chris Dukes afirma que o classificador Jev da TypeSafe funciona bem e é adequado para rotear para vários modelos servidos ao mesmo tempo na inferência, embora limitado por 8GB de VRAM.

Major shoutout to @typesafeai ; #Jev the #classifier works a treat, and is going to be great to route to multiple models served at once when it comes inference time... ...or at least, that would be my PROPER use-case if I wasn't kneecapped at 8GB VRAM 🥲🥲 many thanks for the

Desenvolvedor elogia o classificador Jev para roteamento de inferência multimodelo 1Desenvolvedor elogia o classificador Jev para roteamento de inferência multimodelo 2
· 0 likesOpen on X