Back to explore

Ein LLM von Grund auf mit Jev bauen: eine klassifikatorgesteuerte autoregressive Schleife

Der Autor baute ein LLM von Grund auf mit Jev: 29 Ja/Nein-Fragen pro Zeichen sagen voraus, ob die nächste Taste a–z, Leerzeichen, Komma oder Punkt ist; die höchste Wahrscheinlichkeit wird angehängt und zurück in die Schleife gegeben – ein autoregressiver Prozess aus einem Klassifikator.

i made an llm from first principles with Jev 29 yes/no questions per character: should the next key be a–z, space, comma, or period? highest probability gets append to it, then fed the updated text back in & repeat an autoregressive loop made out of a classifier

· 884 likesOpen on X