返回探索

在笔记本上运行 Jev 风格决策模型

作者展示了在笔记本上运行的基于 Qwen3.5 的 Jev 风格小型模型(0.8B–9B),4B/9B 可适配 32GB Mac,支持 CUDA 和 ROCm,并以 495ms 的速度和概率回答支持工单。

I RAN A DECISION MODEL ON MY LAPTOP TODAY 1. Kev: tiny Jev-style models built on Qwen3.5, 0.8B up to 9B 2. 4B/9B fit a 32GB Mac, also CUDA and ROCm 3. Answered a support ticket in 495ms with probabilities #OpenSource #LocalAI #ML

在笔记本上运行 Jev 风格决策模型 1
· 1 次赞在 X 打开