Författaren visar kompakta Jev-stilmodeller byggda på Qwen3.5 (0.8B–9B), där 4B/9B passar i en 32GB Mac, stödjer CUDA och ROCm, och svarade på en supportärende på 495ms med sannolikheter.
I RAN A DECISION MODEL ON MY LAPTOP TODAY 1. Kev: tiny Jev-style models built on Qwen3.5, 0.8B up to 9B 2. 4B/9B fit a 32GB Mac, also CUDA and ROCm 3. Answered a support ticket in 495ms with probabilities #OpenSource #LocalAI #ML
Författaren delar en Jev-erfarenhet: det verkade knepigt först, men blev tydligt när han tänkte på det som 'låt inte AI skriva text'. Med ärendehantering som exempel skickar det konventionella tillvägagångssättet allt till GPT eller Claude för analys, medan Jev har ett annat tillvägagångssätt.
Prototypen använder AI för att uppskatta tvekan eller intresse från markörens fram- och återgående rörelser eller dröjsmål före klick, observerar kundens beteende och kompletterar förklaringar eller föreslår jämförelser.
Författaren skapade en e-handel demo för kundtjänst i realtid med Jev och gpt-live-1, som omedelbart föreslår rekommenderade produkter baserat på användarens tal under ett samtal, vilket ger en fantastisk upplevelse.
