Back to explore

Jogar com Jev extraindo logits do modelo no dispositivo da Apple

O autor observa que o Jev pode decidir apenas com logits, sem gerar, então hackeou o Apple Foundation Models para extrair logits e fazer o modelo jogar um jogo, elogiando a velocidade do LLM embutido no Mac.

Jevって要は、Logitsさえ取れれば生成せずに判断できるんよね。ということでApple Foundation ModelsをハックしてLogitsを取り出し、ゲームをプレイさせてみた。 Macにはじめから入ってるLLMでこれだけのスピードが出るのすごくない? #AppleIntelligence #Jev

· 2 likesOpen on X