Back to explore

สร้าง LLM จากหลักการพื้นฐานด้วย Jev: ลูปออโตเรเกรสซีฟที่ขับเคลื่อนด้วยตัวจำแนก

ผู้เขียนสร้าง LLM จากหลักการพื้นฐานด้วย Jev: คำถามใช่/ไม่ 29 ข้อต่ออักขระทำนายว่าคีย์ถัดไปเป็น a–z, ช่องว่าง, จุลภาค หรือมหัพภาค; ความน่าจะเป็นสูงสุดถูกต่อท้ายแล้วป้อนกลับเข้าลูป เกิดเป็นกระบวนการออโตเรเกรสซีฟจากตัวจำแนก

i made an llm from first principles with Jev 29 yes/no questions per character: should the next key be a–z, space, comma, or period? highest probability gets append to it, then fed the updated text back in & repeat an autoregressive loop made out of a classifier

· 884 likesOpen on X