Back to explore

Costruire un LLM dai primi principi con Jev: ciclo autoregressivo basato su classificatore

L'autore ha costruito un LLM dai primi principi con Jev: 29 domande sì/no per carattere prevedono se il tasto successivo è a–z, spazio, virgola o punto; la probabilità più alta viene aggiunta e reimmessa nel ciclo, formando un processo autoregressivo fatto da un classificatore.

i made an llm from first principles with Jev 29 yes/no questions per character: should the next key be a–z, space, comma, or period? highest probability gets append to it, then fed the updated text back in & repeat an autoregressive loop made out of a classifier

· 884 likesOpen on X