Một hệ RAG là hai pipeline gặp nhau ở index Diagram

Nửa trên chạy offline, nửa dưới chạy khi có người hỏi

• Pipeline dữ liệu trả lời: làm sao biến tri thức thô thành thứ search được
• Pipeline truy vấn trả lời: làm sao tìm và dùng evidence tốt nhất
• Hai nửa gặp nhau đúng một chỗ là knowledge index

RAG không cập nhật weights của model

• Model vẫn nguyên như cũ sau khi cắm thêm RAG
• Thứ thay đổi là thông tin có sẵn tại thời điểm inference
• Vì vậy sửa một tài liệu chỉ cần re-index, không cần train lại

Mỗi mũi tên là một chỗ có thể hỏng

• Parser mất bảng, chunk mất chủ ngữ, retrieval bỏ sót entity
• Rerank chọn nhầm, context quá dài, prompt không ép grounding
• Đổi sang model lớn hơn không sửa được lỗi nằm ở các khâu trên