Câu trả lời sai thường bắt nguồn từ rất sớm trong pipeline

Câu trả lời sai thường bắt nguồn từ rất sớm trong pipeline A workflow diagram generated by Archify. 01 / Dữ liệu đi qua các khâu EX / Nguyên nhân thật sự Tài liệu gốc · PDF có bảng và heading · Dữ liệu đi qua các khâu Tài liệu gốc PDF có bảng và heading Chunk · đơn vị được index · Dữ liệu đi qua các khâu Chunk đơn vị được index Candidate · kết quả search thô · Dữ liệu đi qua các khâu Candidate kết quả search thô Context · thứ LLM thật sự đọc · Dữ liệu đi qua các khâu Context thứ LLM thật sự đọc Câu trả lời sai · thứ duy nhất user thấy · Dữ liệu đi qua các khâu Câu trả lời sai thứ duy nhất user thấy Parser làm phẳng · bảng thành chuỗi số · Nguyên nhân thật sự Parser làm phẳng bảng thành chuỗi số Chunk mất heading · không còn chủ ngữ · Nguyên nhân thật sự Chunk mất heading không còn chủ ngữ Rerank chọn nhầm · evidence đúng bị loại · Nguyên nhân thật sự Rerank chọn nhầm evidence đúng bị loại Context quá nhiễu · tín hiệu bị chôn · Nguyên nhân thật sự Context quá nhiễu tín hiệu bị chôn hỏng từ đây hoặc từ đây hoặc từ đây hoặc từ đây parse, cắt retrieve rerank generate Legend Agent logic Policy Tool action Context / trace Cloud service External system

RAG là một hệ thống, không phải một model

  • • Chất lượng cuối là tích của chất lượng từng khâu, không phải tổng
  • • Một khâu hỏng sớm thì mọi khâu sau chỉ khuếch đại cái sai đó
  • • Đầu ra cuối cùng không nói cho ta biết khâu nào đã hỏng

Sai lầm thường gặp khi debug

  • • Thấy câu trả lời sai thì đổi ngay sang model lớn hơn
  • • Nếu lỗi nằm ở parser hay ở chunk thì model lớn hơn không cứu được
  • • Tối ưu sai component là cách tiêu tiền nhanh nhất mà không cải thiện gì

Thứ tự câu hỏi nên đi ngược từ đầu pipeline

  • • Parser có giữ được bảng và heading không
  • • Chunk tách khỏi tài liệu rồi còn hiểu được không
  • • Chỉ khi các khâu trên đã sạch thì việc đổ lỗi cho LLM mới có căn cứ