Debug retrieval bắt đầu từ chỗ evidence rơi mất chứ không phải từ câu trả lời sai

Debug retrieval bắt đầu từ chỗ evidence rơi mất chứ không phải từ câu trả lời sai A workflow diagram generated by Archify. 01 / Đi ngược đường mà evidence đã đi EX / Nghi phạm cần soi ở từng chặng Câu trả lời sai · triệu chứng nhìn thấy được · Đi ngược đường mà evidence đã đi Câu trả lời sai triệu chứng nhìn thấy được Context có nó không · kiểm tra evidence cuối · Đi ngược đường mà evidence đã đi Context có nó không kiểm tra evidence cuối Nó đứng hạng mấy · kiểm tra fusion và rerank · Đi ngược đường mà evidence đã đi Nó đứng hạng mấy kiểm tra fusion và rerank Nó có trong top 50 · kiểm tra candidate set · Đi ngược đường mà evidence đã đi Nó có trong top 50 kiểm tra candidate set Nó có trong index · kiểm tra parse và chunk · Đi ngược đường mà evidence đã đi Nó có trong index kiểm tra parse và chunk Nhiễu và trùng lặp · top-k quá tham hay quá chặt · Nghi phạm cần soi ở từng chặng Nhiễu và trùng lặp top-k quá tham hay quá chặt Fusion và reranker · trọng số, version cũ · Nghi phạm cần soi ở từng chặng Fusion và reranker trọng số, version cũ Filter và analyzer · lọc sai, tokenizer cắt vụn · Nghi phạm cần soi ở từng chặng Filter và analyzer lọc sai, tokenizer cắt vụn Chunk và embedding · mất chủ ngữ, sai domain · Nghi phạm cần soi ở từng chặng Chunk và embedding mất chủ ngữ, sai domain soi gì soi gì soi gì soi gì hỏi trước nếu vắng nếu thấp nếu sót Legend User UI Policy Tool action Context / trace Cloud service External system

Câu hỏi đầu tiên luôn là evidence rơi ở chặng nào

  • • Nếu tài liệu chưa từng vào candidate set thì chỉnh reranker là vô ích
  • • Nếu nó có trong candidate nhưng đứng hạng 37 thì đây là bài toán xếp hạng
  • • Nếu nó nằm sẵn trong context mà model vẫn trả lời sai thì đã sang phần generation

Một lỗi filter trông hệt như lỗi embedding

  • • Metadata sai, trích ràng buộc sai, hoặc post-filter quá chặt đều làm mất tài liệu đúng
  • • Mã định danh bị miss thường là chuyện analyzer chứ không phải chuyện ngữ nghĩa
  • • Vì vậy trace phải ghi rõ filter nào được áp và mỗi retriever trả về gì

Trace cần giữ đủ thông tin trung gian

  • • user_query, retrieval_query, filters, k của từng retriever và độ trễ từng chặng
  • • Với từng ứng viên: dense_rank, bm25_rank, fusion_rank, rerank_rank và điểm tương ứng
  • • Nếu chỉ lưu query và câu trả lời cuối thì retrieval là một hộp đen