Khử trùng lặp: hash bắt bản sao, MinHash bắt gần trùng

Khử trùng lặp: hash bắt bản sao, MinHash bắt gần trùng A workflow diagram generated by Archify. 01 / Gần trùng — MinHash và LSH, dùng được ở quy mô web 02 / Trùng tuyệt đối — hash toàn văn, rẻ nhất EX / Điểm mù của hash Document · một bài viết · Gần trùng — MinHash và LSH, dùng được ở quy mô web Document một bài viết n-gram shingles · các cụm n từ liền · Gần trùng — MinHash và LSH, dùng được ở quy mô web n-gram shingles các cụm n từ liền MinHash signature · vector ngắn cố định · Gần trùng — MinHash và LSH, dùng được ở quy mô web MinHash signature vector ngắn cố định LSH buckets · chỉ so trong bucket · Gần trùng — MinHash và LSH, dùng được ở quy mô web LSH buckets chỉ so trong bucket Cặp ứng viên · số cặp giảm mạnh · Gần trùng — MinHash và LSH, dùng được ở quy mô web Cặp ứng viên số cặp giảm mạnh Kiểm Jaccard · xác nhận rồi mới bỏ · Gần trùng — MinHash và LSH, dùng được ở quy mô web Kiểm Jaccard xác nhận rồi mới bỏ Hash nội dung · chuẩn hoá rồi hash · Trùng tuyệt đối — hash toàn văn, rẻ nhất Hash nội dung chuẩn hoá rồi hash Hash đã thấy? · tra một tập hash · Trùng tuyệt đối — hash toàn văn, rẻ nhất Hash đã thấy? tra một tập hash Bỏ bản sao · trùng từng byte · Trùng tuyệt đối — hash toàn văn, rẻ nhất Bỏ bản sao trùng từng byte Coi như tài liệu mới · dù chỉ lệch một dấu · Điểm mù của hash Coi như tài liệu mới dù chỉ lệch một dấu thử cách rẻ một chuỗi hash đã thấy chưa thấy tách n-gram hash tối thiểu băm theo band cùng bucket so tập shingle Legend Agent logic Policy Tool action Context / trace External system

Vì sao không thể so từng cặp document

  • • Jaccard cho mọi cặp có độ phức tạp gần bình phương số document
  • • MinHash nén mỗi document thành một signature ngắn
  • • LSH chỉ đưa các signature gần nhau vào cùng bucket để so tiếp

Duplication không chỉ tốn chỗ

  • • Nội dung bị copy nhiều lần nhận nhiều gradient hơn nội dung khác
  • • Model deduplicated sinh ra ít văn bản memorized hơn
  • • Train và validation có thể trùng nhau nếu dedup làm sau khi split

Mạnh tay hơn không phải lúc nào cũng tốt hơn

  • • FineWeb thấy dedup xuyên mọi crawl không luôn cải thiện benchmark
  • • Nội dung lặp qua nhiều crawl đôi khi là tín hiệu của nguồn ổn định
  • • Dedup vì vậy cũng là một quyết định về distribution, không chỉ về storage