Back to explore

Playing games with Jev by extracting logits from Apple's on-device model

The author notes that Jev can decide from logits alone without generating, so they hacked Apple Foundation Models to extract logits and let it play a game, praising the speed of the built-in Mac LLM.

Jevって要は、Logitsさえ取れれば生成せずに判断できるんよね。ということでApple Foundation ModelsをハックしてLogitsを取り出し、ゲームをプレイさせてみた。 Macにはじめから入ってるLLMでこれだけのスピードが出るのすごくない? #AppleIntelligence #Jev

· 2 likesOpen on X