L'autore mostra modelli compatti in stile Jev basati su Qwen3.5 (0.8B–9B), con 4B/9B che stanno in un Mac da 32GB, supportano CUDA e ROCm e hanno risposto a un ticket di supporto in 495ms con probabilità.
I RAN A DECISION MODEL ON MY LAPTOP TODAY 1. Kev: tiny Jev-style models built on Qwen3.5, 0.8B up to 9B 2. 4B/9B fit a 32GB Mac, also CUDA and ROCm 3. Answered a support ticket in 495ms with probabilities #OpenSource #LocalAI #ML
L'autore condivide un'esperienza d'uso di Jev: all'inizio sembrava complicato, ma è diventato chiaro pensandolo come 'non lasciare che l'IA scriva il testo'. Prendendo la gestione delle richieste come esempio, l'approccio convenzionale affida tutto a GPT o Claude per l'analisi, mentre Jev adotta un approccio diverso.
Il prototipo usa l'IA per stimare esitazione o interesse dai movimenti del cursore o dall'indugio prima del clic, osservando il comportamento del cliente e integrando spiegazioni o suggerendo confronti.
L'autore ha creato una demo di assistenza clienti in tempo reale per e-commerce con Jev e gpt-live-1, che suggerisce istantaneamente prodotti consigliati in base al parlato dell'utente durante la conversazione, offrendo un'ottima esperienza.
