返回探索

用 Jev 从第一性原理构建 LLM:分类器驱动的自回归循环

作者用 Jev 从第一性原理构建了一个 LLM:每个字符通过 29 个是/否问题预测下一个键是字母、空格、逗号还是句号,取最高概率追加后反馈回循环,形成一个由分类器构成的自回归生成过程。

i made an llm from first principles with Jev 29 yes/no questions per character: should the next key be a–z, space, comma, or period? highest probability gets append to it, then fed the updated text back in & repeat an autoregressive loop made out of a classifier

· 884 次赞在 X 打开