Từ một trang web đến một document sạch Diagram

Trích xuất không phải là xoá thẻ HTML

• Extractor quá đơn giản giữ lại nav, cookie banner và footer
• Extractor quá mạnh tay xoá mất code block, bảng và công thức
• Pipeline cho math hoặc code cần giữ MathJax, KaTeX, MathML

Chuẩn hoá là con dao hai lưỡi

• Sửa encoding và bỏ control character thì gần như luôn đúng
• Ép lowercase hay bỏ dấu có thể phá tiếng Việt và thơ
• Whitespace là cú pháp thật trong Python và Markdown

Language ID là metadata, không phải bộ lọc

• Dùng để kiểm soát tỷ lệ sampling giữa các ngôn ngữ
• Document trộn nhiều ngôn ngữ thường nhận điểm không chắc chắn
• Nhãn ngôn ngữ sai sẽ đi thẳng vào bước data mixing phía sau