Contamination: khi model đã nhìn thấy đề thi trước lúc chấm

Contamination: khi model đã nhìn thấy đề thi trước lúc chấm A data-flow diagram generated by Archify. 01 / Benchmark 02 / Rò rỉ ra web 03 / Vào corpus 04 / Kiểm tra 05 / Kết quả đo được Đề và đáp án benchmark · MMLU · ARC · HumanEval · 01 / Benchmark · thứ dùng để chấm điểm Đề và đáp án benchmark MMLU · ARC · HumanEval thứ dùng để chấm điểm Bản gốc eval set · giữ lại để đối chiếu · 01 / Benchmark Bản gốc eval set giữ lại để đối chiếu Đăng lại công khai · blog · GitHub · forum · 02 / Rò rỉ ra web · đường rò rỉ Đăng lại công khai blog · GitHub · forum đường rò rỉ Training corpus · crawl thu về cả lời giải · 03 / Vào corpus Training corpus crawl thu về cả lời giải Bảng tra n-gram · hash set · Bloom filter · 03 / Vào corpus Bảng tra n-gram hash set · Bloom filter Đối chiếu overlap · n-gram · đoạn văn · near-dup · 04 / Kiểm tra · decontamination Đối chiếu overlap n-gram · đoạn văn · near-dup decontamination Điểm đo được năng lực · còn dùng để so sánh · 05 / Kết quả đo được Điểm đo được năng lực còn dùng để so sánh Điểm bị thổi lên · nhớ bài tính như biết làm · 05 / Kết quả đo được Điểm bị thổi lên nhớ bài tính như biết làm được đăng lại crawl thu về trước khi train không trùng thì giữ dựng cấu trúc tra cứu so từng đoạn văn phần lọt qua kiểm tra Legend primary data policy / PII data store data flow

Bốn mức contamination cần phân biệt

  • • Exact: đúng nguyên văn example của benchmark
  • • Near-duplicate: cùng câu hỏi, chỉ đổi định dạng hoặc vài chữ
  • • Semantic và benchmark discussion: lời giải, đáp án, phân tích đề

Decontamination không đưa được về 0

  • • Mục tiêu là loại các trường hợp rõ ràng làm điểm bị thổi lên
  • • Dolma tìm paragraph của eval set xuất hiện trong training document
  • • Càng nhiều benchmark công khai lâu thì rủi ro rò rỉ càng cao

Vì sao chuyện này khó kiểm chứng từ bên ngoài

  • • Corpus của nhiều model thương mại không được công bố
  • • Điểm = năng lực + phần ghi nhớ + nhiễu đo đạc
  • • Không kiểm soát contamination thì không tách được ba phần đó