Back to explore

Bygga en LLM från första principer med Jev: en klassificerardriven autoregressiv loop

Författaren byggde en LLM från första principer med Jev: 29 ja/nej-frågor per tecken förutspår om nästa tangent är a–z, mellanslag, komma eller punkt; den högsta sannolikheten läggs till och matas tillbaka in i loopen, vilket bildar en autoregressiv process av en klassificerare.

i made an llm from first principles with Jev 29 yes/no questions per character: should the next key be a–z, space, comma, or period? highest probability gets append to it, then fed the updated text back in & repeat an autoregressive loop made out of a classifier

· 884 likesOpen on X