Autor pokazuje kompaktowe modele w stylu Jev oparte na Qwen3.5 (0.8B–9B), z których 4B/9B mieszczą się w Macu z 32GB pamięci, obsługują CUDA i ROCm, a odpowiedź na zgłoszenie wsparcia zajęła 495 ms z podaniem prawdopodobieństw.
I RAN A DECISION MODEL ON MY LAPTOP TODAY 1. Kev: tiny Jev-style models built on Qwen3.5, 0.8B up to 9B 2. 4B/9B fit a 32GB Mac, also CUDA and ROCm 3. Answered a support ticket in 495ms with probabilities #OpenSource #LocalAI #ML
Autor dzieli się doświadczeniem z Jev: początkowo wydawało się trudne, ale stało się jasne, gdy pomyślał o tym jako 'nie pozwalaj AI pisać tekstu'. Na przykładzie obsługi zapytań tradycyjne podejście przekazuje wszystko GPT lub Claude do analizy, a Jev stosuje inne podejście.
Prototyp wykorzystuje AI do szacowania wahania lub zainteresowania na podstawie ruchów kursora lub zatrzymania przed kliknięciem, obserwując zachowanie klienta i uzupełniając wyjaśnienia lub sugerując porównania.
Autor stworzył demo obsługi klienta w czasie rzeczywistym dla e-commerce z Jev i gpt-live-1, które natychmiast sugeruje polecane produkty na podstawie wypowiedzi użytkownika podczas rozmowy, zapewniając świetne doświadczenie.
