Jev活用のコツ:AIに文章を書かせない発想で問い合わせ対応が明確に
著者がJevの使用感を共有。最初は難しく感じたが、「AIに文章を書かせない」と捉えると一気に理解できた。問い合わせ対応を例に、従来はGPTやClaudeに丸投げして分析させるが、Jevは考え方が異なると述べている。
著者はQwen3.5ベースの小型Jevスタイルモデル(0.8B〜9B)をノートPCで実行し、4B/9Bは32GB Macに対応、CUDAとROCmもサポート。495msで確率付きのサポートチケット応答を行ったと紹介。
I RAN A DECISION MODEL ON MY LAPTOP TODAY 1. Kev: tiny Jev-style models built on Qwen3.5, 0.8B up to 9B 2. 4B/9B fit a 32GB Mac, also CUDA and ROCm 3. Answered a support ticket in 495ms with probabilities #OpenSource #LocalAI #ML