Back to explore

Membangun LLM dari prinsip pertama dengan Jev: loop autoregresif berbasis pengklasifikasi

Penulis membangun LLM dari prinsip pertama dengan Jev: 29 pertanyaan ya/tidak per karakter memprediksi apakah tombol berikutnya a–z, spasi, koma, atau titik; probabilitas tertinggi ditambahkan lalu dikembalikan ke loop, membentuk proses autoregresif dari pengklasifikasi.

i made an llm from first principles with Jev 29 yes/no questions per character: should the next key be a–z, space, comma, or period? highest probability gets append to it, then fed the updated text back in & repeat an autoregressive loop made out of a classifier

· 884 likesOpen on X