Từ dữ liệu thô đến training sample

Từ dữ liệu thô đến training sample A data-flow diagram generated by Archify. 01 / Nguồn thô 02 / Làm sạch 03 / Chọn lọc 04 / Số hoá 05 / Vào model Nguồn dữ liệu thô · web · sách · code · paper · 01 / Nguồn thô · chưa phải training data Nguồn dữ liệu thô web · sách · code · paper chưa phải training data Thứ đi kèm nguồn · boilerplate · spam · PII · 01 / Nguồn thô Thứ đi kèm nguồn boilerplate · spam · PII Trích xuất + chuẩn hoá · HTML → text · Unicode · lang ID · 02 / Làm sạch Trích xuất + chuẩn hoá HTML → text · Unicode · lang ID Lọc chất lượng · heuristic + classifier · 02 / Làm sạch · ngưỡng là một lựa chọn Lọc chất lượng heuristic + classifier ngưỡng là một lựa chọn Khử trùng lặp · exact · near · đoạn lặp · 03 / Chọn lọc · đổi cả distribution Khử trùng lặp exact · near · đoạn lặp đổi cả distribution Khử nhiễm benchmark · đối chiếu evaluation set · 03 / Chọn lọc Khử nhiễm benchmark đối chiếu evaluation set Trộn domain · weight cho từng nguồn · 04 / Số hoá · hyperparameter Trộn domain weight cho từng nguồn hyperparameter Tokenizer + biên document · text → ID, chèn EOS · 04 / Số hoá Tokenizer + biên document text → ID, chèn EOS Training sample · input_ids · labels · mask · 05 / Vào model · đơn vị tính loss Training sample input_ids · labels · mask đơn vị tính loss raw document text đã chuẩn hoá corpus đã curate chuỗi độ dài cố định phải bỏ đi trước giữ lại bao nhiêu loại phần trùng đề thi cắt theo sequence length Legend primary data data store data flow

Hàng trên là đường đi của dữ liệu

  • • Mỗi chặng thu hẹp corpus và thay đổi phân bố của nó
  • • Không chặng nào là bước phụ nằm ngoài bài toán training
  • • Đầu vào là văn bản người viết, đầu ra là ma trận số nguyên

Hàng dưới là quyết định của người xây dataset

  • • Ngưỡng lọc quyết định còn lại bao nhiêu unique token
  • • Decontamination quyết định benchmark còn đo được gì
  • • Tokenizer và vị trí EOS quyết định biên của một sample

Chỗ hay bị bỏ qua

  • • Model không đọc Internet, nó đọc thứ pipeline đã chọn cho nó
  • • Một document dài có thể sinh ra nhiều training sample
  • • Một training sample có thể chứa token của nhiều document