Data mixture: model đọc thứ gì, và đọc bao nhiêu

Data mixture: model đọc thứ gì, và đọc bao nhiêu A data-flow diagram generated by Archify. 01 / Corpus theo domain 02 / Trọng số 03 / Trộn mẫu 04 / Token stream 05 / Ảnh hưởng lên model Web · ≈8 TB sau khi lọc · 01 / Corpus theo domain Web ≈8 TB sau khi lọc Code · ≈1 TB · 01 / Corpus theo domain Code ≈1 TB Books · Papers · Wiki · ≈600 GB cộng lại · 01 / Corpus theo domain Books · Papers · Wiki ≈600 GB cộng lại Sampling weight · tổng các w bằng 1 · 02 / Trọng số · hyperparameter Sampling weight tổng các w bằng 1 hyperparameter Proxy model nhỏ · DoReMi: học weight · 03 / Trộn mẫu Proxy model nhỏ DoReMi: học weight Domain sampler · up hoặc downsample · 03 / Trộn mẫu Domain sampler up hoặc downsample Đổi mix theo phase · đầu rộng, cuối tinh · 03 / Trộn mẫu Đổi mix theo phase đầu rộng, cuối tinh Token stream đã trộn · thứ tự model thật sự đọc · 04 / Token stream Token stream đã trộn thứ tự model thật sự đọc Gradient theo nội dung · học gì, học bao nhiêu · 05 / Ảnh hưởng lên model · năng lực của model Gradient theo nội dung học gì, học bao nhiêu năng lực của model w_web w_code w còn lại tỉ lệ lấy mẫu chuỗi đã trộn mỗi bước một batch weight học được đổi theo giai đoạn Legend primary data data store data flow

Mixture là một hyperparameter, không phải hệ quả

  • • Nối tất cả rồi lấy theo kích thước tự nhiên thì web áp đảo
  • • Upsample code để model mạnh coding là một lựa chọn có chủ ý
  • • Downsample nguồn lớn nhưng chất lượng trung bình cũng vậy

Có thể học mixture thay vì đoán

  • • DoReMi dùng proxy model nhỏ để ước lượng domain weight
  • • Weight tìm được rồi mới đem đi train model lớn
  • • Trong paper, cách này cải thiện downstream với ít step hơn

Mixture không bắt buộc cố định suốt run

  • • Giai đoạn đầu thiên về web rộng để phủ kiến thức
  • • Giai đoạn sau tăng code, math và văn bản đã chọn lọc
  • • Weight quyết định model nhận bao nhiêu gradient từ mỗi loại