Back to explore

Granie z Jev poprzez wyodrębnienie logits z modelu lokalnego Apple

Autor zauważa, że Jev może decydować na podstawie samych logits bez generowania, więc zhakował Apple Foundation Models, wyodrębnił logits i kazał modelowi grać w grę, chwaląc szybkość wbudowanego w Mac LLM.

Jevって要は、Logitsさえ取れれば生成せずに判断できるんよね。ということでApple Foundation ModelsをハックしてLogitsを取り出し、ゲームをプレイさせてみた。 Macにはじめから入ってるLLMでこれだけのスピードが出るのすごくない? #AppleIntelligence #Jev

· 2 likesOpen on X