Back to explore

Construir un LLM desde primeros principios con Jev: bucle autorregresivo basado en clasificador

El autor construyó un LLM desde primeros principios con Jev: 29 preguntas de sí/no por carácter predicen si la siguiente tecla es a–z, espacio, coma o punto; la mayor probabilidad se añade y se realimenta en el bucle, formando un proceso autorregresivo hecho con un clasificador.

i made an llm from first principles with Jev 29 yes/no questions per character: should the next key be a–z, space, comma, or period? highest probability gets append to it, then fed the updated text back in & repeat an autoregressive loop made out of a classifier

· 884 likesOpen on X