Vòng đời một mẫu synthetic trước khi được học

Vòng đời một mẫu synthetic trước khi được học A lifecycle diagram generated by Archify. 01 / Vòng đời một mẫu synthetic 02 / Chỗ vòng lặp có thể hỏng 03 / Outcomes Dữ liệu gốc · đoạn web thật · Vòng đời một mẫu synthetic 01 Dữ liệu gốc đoạn web thật Teacher sinh · viết lại nội dung · Vòng đời một mẫu synthetic 02 Teacher sinh viết lại nội dung Chấm và verify · classifier + test · Vòng đời một mẫu synthetic 03 Chấm và verify classifier + test Khử trùng lặp · so với data thật · Vòng đời một mẫu synthetic 04 Khử trùng lặp so với data thật Vào corpus · tốn token budget · Vòng đời một mẫu synthetic 05 Vào corpus tốn token budget Mẫu sai · student học lại lỗi · Chỗ vòng lặp có thể hỏng Mẫu sai student học lại lỗi Diversity co hẹp · toàn text máy sinh · Chỗ vòng lặp có thể hỏng Diversity co hẹp toàn text máy sinh verify trượt sinh lại không kiểm soát Legend start active state decision terminal success failure / exit

Synthetic data không còn chỉ dành cho post-training

  • • Nemotron-CC kết hợp web token thật với bản rephrase máy sinh
  • • Mục tiêu là giữ đủ dữ liệu chất lượng cho long-horizon pretraining
  • • Teacher có thể chuẩn hoá văn phong, bổ sung reasoning và code

Bước verify là thứ giữ cho vòng lặp không hỏng

  • • Sinh ra rồi phải chấm điểm, kiểm chứng, dedup rồi mới sampling
  • • Lỗi của teacher đi thẳng vào student nếu không có bước này
  • • Bias của teacher cũng lan sang distribution của dữ liệu sinh ra

Vòng lặp dữ liệu ngày càng rõ

  • • Model tốt hơn cho quality classifier và teacher tốt hơn
  • • Dữ liệu tốt hơn lại tạo ra model tốt hơn ở vòng sau
  • • Không có quality control thì vòng lặp đó thu hẹp dần diversity