Back to explore

การคาลิเบรต Jev ทำได้เทียบเท่าบน MMLU; 8 บิตควอนไทซ์พอดีใน ~30GB แบบโลคอล

อัปเดต: เช็คพอยต์ถัดไปทำได้เทียบเท่าการคาลิเบรต Jev บน MMLU แล้ว และ 8 บิตควอนไทซ์ดูดี คาดว่าใช้หน่วยความจำโลคอล ~30GB

Update: next checkpoint has effectively reached Jev calibration parity on MMLU! Also 8 bit quant is looking good and should fit in ~30gb memory locally!

การคาลิเบรต Jev ทำได้เทียบเท่าบน MMLU; 8 บิตควอนไทซ์พอดีใน ~30GB แบบโลคอล 1
· 2 likesOpen on X