Back to explore

Giocare con Jev estraendo i logits dal modello on-device di Apple

L'autore osserva che Jev può decidere solo dai logits senza generare, quindi ha hackerato Apple Foundation Models per estrarre i logits e far giocare il modello, elogiando la velocità dell'LLM integrato nel Mac.

Jevって要は、Logitsさえ取れれば生成せずに判断できるんよね。ということでApple Foundation ModelsをハックしてLogitsを取り出し、ゲームをプレイさせてみた。 Macにはじめから入ってるLLMでこれだけのスピードが出るのすごくない? #AppleIntelligence #Jev

· 2 likesOpen on X