O autor demonstra modelos compactos estilo Jev construídos sobre Qwen3.5 (0,8B–9B), com 4B/9B cabendo em um Mac de 32GB, suporte a CUDA e ROCm, e resposta a um ticket de suporte em 495ms com probabilidades.
I RAN A DECISION MODEL ON MY LAPTOP TODAY 1. Kev: tiny Jev-style models built on Qwen3.5, 0.8B up to 9B 2. 4B/9B fit a 32GB Mac, also CUDA and ROCm 3. Answered a support ticket in 495ms with probabilities #OpenSource #LocalAI #ML
O autor compartilha uma experiência com o Jev: no início parecia complicado, mas ficou claro ao entendê-lo como 'não deixar a IA escrever texto'. Usando o tratamento de solicitações como exemplo, a abordagem convencional joga tudo no GPT ou Claude para analisar, enquanto o Jev adota uma abordagem diferente.
O protótipo usa IA para estimar hesitação ou interesse a partir dos movimentos do cursor ou da pausa antes do clique, observando o comportamento do cliente e complementando explicações ou sugerindo comparações.
O autor criou uma demonstração de atendimento ao cliente em tempo real para e-commerce com Jev e gpt-live-1, que sugere produtos recomendados instantaneamente com base na fala do usuário durante a conversa, proporcionando uma ótima experiência.
