Document, corpus, sequence, sample, batch: năm từ không đồng nghĩa

Document, corpus, sequence, sample, batch: năm từ không đồng nghĩa A workflow diagram generated by Archify. 01 / Đơn vị nội dung — nói về cái gì được viết ra 02 / Đơn vị huấn luyện — nói về cái gì tính loss 03 / Vì sao hai hàng trên không trùng nhau Document · một trang web, một file · Đơn vị nội dung — nói về cái gì được viết ra Document một trang web, một file Corpus · tập nhiều document · Đơn vị nội dung — nói về cái gì được viết ra Corpus tập nhiều document Curated corpus · đã lọc, dedup, decon · Đơn vị nội dung — nói về cái gì được viết ra Curated corpus đã lọc, dedup, decon Tokenized dataset · chỉ còn integer ID · Đơn vị huấn luyện — nói về cái gì tính loss Tokenized dataset chỉ còn integer ID Training sequence · độ dài cố định 8.192 · Đơn vị huấn luyện — nói về cái gì tính loss Training sequence độ dài cố định 8.192 Batch · B × T vị trí token · Đơn vị huấn luyện — nói về cái gì tính loss · thứ GPU thật sự nhận Batch B × T vị trí token thứ GPU thật sự nhận Document 50.000 token · trải ra nhiều sample · Vì sao hai hàng trên không trùng nhau Document 50.000 token trải ra nhiều sample Sample nhiều document · khi pipeline ghép lại · Vì sao hai hàng trên không trùng nhau Sample nhiều document khi pipeline ghép lại một document dài một chuỗi cố định gom theo nguồn clean · filter · dedup tokenizer cắt theo độ dài gom sample Legend Agent logic Tool action Context / trace Cloud service External system

Corpus nói về nội dung, sample nói về loss

  • • Corpus trả lời: model được đọc những gì
  • • Training sample trả lời: một lần tính loss gồm bao nhiêu token
  • • Hai câu hỏi đó không ánh xạ một-một với nhau

Ranh giới bị phá theo cả hai chiều

  • • Một document dài bị chia qua nhiều training sequence
  • • Một sequence có thể chứa đuôi document này và đầu document kia
  • • Vì vậy đếm document không cho biết training compute

Metadata không đi vào model nhưng vẫn quan trọng

  • • source, url, language và quality_score điều khiển filtering
  • • Chúng cũng là thứ duy nhất cho phép audit lại provenance
  • • Sau tokenization, pipeline chỉ còn làm việc với số nguyên