L'auteur présente des modèles compacts de style Jev basés sur Qwen3.5 (0,8B–9B), avec 4B/9B adaptés à un Mac 32 Go, prenant en charge CUDA et ROCm, et ayant répondu à un ticket de support en 495 ms avec des probabilités.
I RAN A DECISION MODEL ON MY LAPTOP TODAY 1. Kev: tiny Jev-style models built on Qwen3.5, 0.8B up to 9B 2. 4B/9B fit a 32GB Mac, also CUDA and ROCm 3. Answered a support ticket in 495ms with probabilities #OpenSource #LocalAI #ML
L'auteur partage un retour d'expérience sur Jev : cela semblait délicat au début, mais tout s'est éclairé en le comprenant comme « ne pas laisser l'IA écrire le texte ». En prenant le traitement des demandes comme exemple, l'approche classique consiste à tout confier à GPT ou Claude pour analyse, alors que Jev adopte une approche différente.
Le prototype utilise l'IA pour estimer l'hésitation ou l'intérêt à partir des mouvements du curseur ou de l'arrêt avant le clic, en observant le comportement du client et en complétant les explications ou en suggérant des comparaisons.
L'auteur a créé une démo de service client en temps réel pour le e-commerce avec Jev et gpt-live-1, qui suggère instantanément des produits recommandés en fonction de la parole de l'utilisateur pendant la conversation, offrant une excellente expérience.
