Retrieval là một ranking pipeline nhiều tầng, không phải một lần gọi similarity search Diagram

Ba tầng trả lời ba câu hỏi khác nhau

• Hiểu đúng câu hỏi, tìm thật rộng, rồi mới xếp hạng thật kỹ
• Mỗi tầng tối ưu một thứ và không tầng nào thay được tầng khác
• Gộp cả ba vào một lần gọi vector search là bỏ mất hai tầng

Lỗi ở tầng trước không sửa được ở tầng sau

• Reranker chỉ chọn lại trong những gì retriever đã đưa cho nó
• Retriever chỉ search trên representation mà indexing đã tạo ra
• Vì vậy debug retrieval phải đi ngược từ đầu pipeline chứ không phải từ cuối

Retrieval và generation là hai câu hỏi tách rời

• Evidence cần thiết có nằm trong retrieved set không
• Nếu đã có trong context rồi thì LLM có dùng nó đúng không
• Không tách hai lớp này thì rất dễ tối ưu nhầm component