Một câu trả lời sai của RAG có thể hỏng ở nhiều chỗ khác nhau

Một câu trả lời sai của RAG có thể hỏng ở nhiều chỗ khác nhau A workflow diagram generated by Archify. 01 / Đường đi của một câu hỏi EX / Chỗ có thể hỏng Câu hỏi người dùng · input của test case · Đường đi của một câu hỏi Câu hỏi người dùng input của test case Retriever · tìm chunk trong index · Đường đi của một câu hỏi Retriever tìm chunk trong index retrieval_context · chunk được đưa vào prompt · Đường đi của một câu hỏi retrieval_context chunk được đưa vào prompt Generator LLM · viết câu trả lời · Đường đi của một câu hỏi Generator LLM viết câu trả lời actual_output · câu trả lời cuối · Đường đi của một câu hỏi actual_output câu trả lời cuối Thiếu evidence · không lấy được thứ cần · Chỗ có thể hỏng Thiếu evidence không lấy được thứ cần Xếp sai thứ tự · evidence chìm dưới noise · Chỗ có thể hỏng Xếp sai thứ tự evidence chìm dưới noise Bỏ qua evidence · context đủ mà không dùng · Chỗ có thể hỏng Bỏ qua evidence context đủ mà không dùng Claim không căn cứ · không có trong context · Chỗ có thể hỏng Claim không căn cứ không có trong context lỗi coverage lỗi ranking lỗi grounding lỗi output tra cứu trả chunk vào prompt sinh answer Legend Agent logic Policy Context / trace Cloud service External system

RAG có thêm một tầng so với LLM thuần

  • • LLM thuần chỉ có một chặng từ câu hỏi tới câu trả lời
  • • RAG chèn retrieval vào giữa, nên số failure mode tăng lên
  • • Cùng một câu trả lời sai có thể đến từ những nguyên nhân rất khác nhau

Nhìn mỗi final answer thì không định vị được lỗi

  • • Đúng hay sai chỉ nói rằng hệ thống có lỗi
  • • Nó không nói lỗi nằm ở retriever hay ở generator
  • • Vì vậy một con số duy nhất cho cả RAG là quá thô

Câu hỏi cần được tách nhỏ ra

  • • Retriever có lấy đủ thông tin không
  • • Relevant chunk có được xếp lên trên không
  • • Generator có bám evidence và có trả lời đúng trọng tâm không