Автор демонструє компактні моделі у стилі Jev на основі Qwen3.5 (0.8B–9B): версії 4B/9B поміщаються в Mac з 32 ГБ, підтримують CUDA та ROCm, а відповідь на тикет підтримки зайняла 495 мс з імовірностями.
I RAN A DECISION MODEL ON MY LAPTOP TODAY 1. Kev: tiny Jev-style models built on Qwen3.5, 0.8B up to 9B 2. 4B/9B fit a 32GB Mac, also CUDA and ROCm 3. Answered a support ticket in 495ms with probabilities #OpenSource #LocalAI #ML
Автор ділиться досвідом використання Jev: спочатку здавалося складно, але стало зрозуміло, коли він уявив це як «не дозволяти ШІ писати текст». На прикладі обробки запитів традиційний підхід передає все GPT або Claude для аналізу, а Jev має інший підхід.
Прототип використовує ШІ для оцінки вагань або зацікавленості за рухами курсора чи затримкою перед кліком, спостерігаючи за поведінкою клієнта та доповнюючи пояснення або пропонуючи порівняння.
Автор створив демо служби підтримки клієнтів у реальному часі для електронної комерції на Jev і gpt-live-1, яке миттєво пропонує рекомендовані товари на основі мовлення користувача під час розмови, забезпечуючи чудовий досвід.
