Back to explore

Een LLM vanaf de eerste principes bouwen met Jev: een op classificatie gebaseerde autoregressieve lus

De auteur bouwde een LLM vanaf de eerste principes met Jev: 29 ja/nee-vragen per teken voorspellen of de volgende toets a–z, spatie, komma of punt is; de hoogste waarschijnlijkheid wordt toegevoegd en teruggevoerd in de lus, wat een autoregressief proces van een classificator vormt.

i made an llm from first principles with Jev 29 yes/no questions per character: should the next key be a–z, space, comma, or period? highest probability gets append to it, then fed the updated text back in & repeat an autoregressive loop made out of a classifier

· 884 likesOpen on X