返回探索

用 Jev 提取 Apple 端侧模型 logits 玩游戏

作者指出 Jev 只需 logits 即可判断而无需生成,于是破解 Apple Foundation Models 提取 logits,让模型玩游戏,并感叹 Mac 内置 LLM 的速度。

Jevって要は、Logitsさえ取れれば生成せずに判断できるんよね。ということでApple Foundation ModelsをハックしてLogitsを取り出し、ゲームをプレイさせてみた。 Macにはじめから入ってるLLMでこれだけのスピードが出るのすごくない? #AppleIntelligence #Jev

· 2 次赞在 X 打开