Автор демонстрирует компактные модели в стиле Jev на основе Qwen3.5 (0,8B–9B): 4B/9B помещаются в Mac с 32 ГБ, поддерживаются CUDA и ROCm, а ответ на тикет поддержки занял 495 мс с вероятностной оценкой.
I RAN A DECISION MODEL ON MY LAPTOP TODAY 1. Kev: tiny Jev-style models built on Qwen3.5, 0.8B up to 9B 2. 4B/9B fit a 32GB Mac, also CUDA and ROCm 3. Answered a support ticket in 495ms with probabilities #OpenSource #LocalAI #ML
Автор делится опытом использования Jev: сначала казалось сложно, но всё стало понятно, когда он представил это как «не позволять ИИ писать текст». На примере обработки запросов традиционный подход передаёт всё GPT или Claude для анализа, а Jev предлагает иной подход.
Прототип использует ИИ для оценки колебаний или интереса по движениям курсора или задержке перед кликом, наблюдая за поведением клиента и дополняя объяснения или предлагая сравнения.
Автор создал демо службы поддержки в реальном времени для электронной коммерции на Jev и gpt-live-1, которое мгновенно предлагает рекомендуемые товары на основе речи пользователя во время разговора, обеспечивая отличный опыт.
