Tác giả trình diễn các mô hình nhỏ gọn kiểu Jev dựa trên Qwen3.5 (0.8B–9B), trong đó 4B/9B phù hợp với Mac 32GB, hỗ trợ CUDA và ROCm, và trả lời một vé hỗ trợ trong 495ms kèm xác suất.
I RAN A DECISION MODEL ON MY LAPTOP TODAY 1. Kev: tiny Jev-style models built on Qwen3.5, 0.8B up to 9B 2. 4B/9B fit a 32GB Mac, also CUDA and ROCm 3. Answered a support ticket in 495ms with probabilities #OpenSource #LocalAI #ML
Tác giả chia sẻ trải nghiệm dùng Jev: ban đầu có vẻ khó, nhưng bỗng hiểu ra khi nghĩ theo hướng 'không để AI viết văn bản'. Lấy xử lý yêu cầu làm ví dụ, cách truyền thống đưa toàn bộ cho GPT hoặc Claude phân tích, còn Jev có cách tiếp cận khác.
Nguyên mẫu sử dụng AI để ước lượng sự do dự hoặc quan tâm từ chuyển động con trỏ hoặc dừng lại trước khi nhấp, quan sát thái độ khách hàng và bổ sung giải thích hoặc gợi ý so sánh.
Tác giả đã tạo bản demo dịch vụ khách hàng thời gian thực cho thương mại điện tử bằng Jev và gpt-live-1, tự động gợi ý sản phẩm dựa trên lời nói của người dùng ngay trong cuộc trò chuyện, mang lại trải nghiệm tuyệt vời.
