Một bước pretraining và những chỗ dễ hiểu sai

Một bước pretraining và những chỗ dễ hiểu sai A workflow diagram generated by Archify. 01 / Một bước train EX / Chỗ dễ hiểu sai Micro-batch · cắt từ token stream · Một bước train Micro-batch cắt từ token stream Forward bf16 · logits ở mọi vị trí · Một bước train Forward bf16 logits ở mọi vị trí Cross-entropy · loss token kế tiếp · Một bước train Cross-entropy loss token kế tiếp Backward, đồng bộ · all-reduce / reduce-scatter · Một bước train Backward, đồng bộ all-reduce / reduce-scatter AdamW step · master weights fp32 · Một bước train AdamW step master weights fp32 Checkpoint, eval · loss, grad norm, MFU · Một bước train Checkpoint, eval loss, grad norm, MFU Luôn 20 token/tham số · chỉ tối ưu chi phí train · Chỗ dễ hiểu sai Luôn 20 token/tham số chỉ tối ưu chi phí train bf16 là fp16 đổi tên · dải số mũ như fp32 · Chỗ dễ hiểu sai bf16 là fp16 đổi tên dải số mũ như fp32 Chinchilla bác Kaplan · khác nhau ở cách đo · Chỗ dễ hiểu sai Chinchilla bác Kaplan khác nhau ở cách đo FSDP là model parallel · vẫn là data parallel · Chỗ dễ hiểu sai FSDP là model parallel vẫn là data parallel Spike do data bẩn · data + trạng thái model · Chỗ dễ hiểu sai Spike do data bẩn data + trạng thái model Loss thấp là giỏi hơn · downstream không luôn theo · Chỗ dễ hiểu sai Loss thấp là giỏi hơn downstream không luôn theo bước kế tiếp, learning rate theo lịch Legend bước tính trên GPU cập nhật trọng số dữ liệu: token stream và micro-batch checkpoint và theo dõi chỗ dễ hiểu sai