Lọc chất lượng: giữ lại cái gì, và mất gì khi giữ quá ít

Lọc chất lượng: giữ lại cái gì, và mất gì khi giữ quá ít A workflow diagram generated by Archify. 01 / Đường giữ lại — heuristic trước, classifier sau EX / Đường loại bỏ — và cái giá đi kèm Document · có text ≠ đáng học · Đường giữ lại — heuristic trước, classifier sau Document có text ≠ đáng học Đo đặc trưng · độ dài · tỷ lệ chữ · Đường giữ lại — heuristic trước, classifier sau Đo đặc trưng độ dài · tỷ lệ chữ Ngưỡng heuristic · rẻ ở mọi scale · Đường giữ lại — heuristic trước, classifier sau Ngưỡng heuristic rẻ ở mọi scale Quality classifier · học từ nhãn · Đường giữ lại — heuristic trước, classifier sau Quality classifier học từ nhãn Điểm chất lượng · ngưỡng tự chọn · Đường giữ lại — heuristic trước, classifier sau Điểm chất lượng ngưỡng tự chọn Vào training mixture · token được học thật · Đường giữ lại — heuristic trước, classifier sau · unique token còn lại Vào training mixture token được học thật unique token còn lại Loại theo rule · spam · dòng lặp · Đường loại bỏ — và cái giá đi kèm Loại theo rule spam · dòng lặp Loại theo điểm · dưới ngưỡng · Đường loại bỏ — và cái giá đi kèm Loại theo điểm dưới ngưỡng Loại nhầm · code · thơ · bảng · Đường loại bỏ — và cái giá đi kèm Loại nhầm code · thơ · bảng text thô đặc trưng qua vòng rẻ điểm dự đoán trên ngưỡng vi phạm rule dưới ngưỡng lẫn dữ liệu tốt Legend Agent logic Policy Tool action Context / trace External system

Hai lớp lọc giải quyết hai việc khác nhau

  • • Heuristic rẻ đến mức chạy được trên hàng nghìn tỷ token
  • • Classifier bắt được thứ mà rule đơn giản không mô tả nổi
  • • FineWeb-Edu cho thấy lọc theo giá trị giáo dục cải thiện benchmark

Ngưỡng là bài toán precision - recall

  • • Ngưỡng lỏng: nhiều token hơn, chất lượng trung bình thấp hơn
  • • Ngưỡng chặt: chất lượng cao hơn nhưng ít dữ liệu unique hơn
  • • Thiếu token unique thì model buộc phải đọc lại cùng dữ liệu

Bộ lọc nào cũng mang theo bias của nó

  • • Rule thiết kế cho prose tiếng Anh sẽ đánh rớt code và bảng
  • • Classifier học văn phong bách khoa sẽ hạ điểm ngôn ngữ đời thường
  • • Không có ngưỡng đúng cho mọi model size và token budget