RAG: Truy xuất trước, sinh trả lời sau

RAG: Truy xuất trước, sinh trả lời sau A data-flow diagram generated by Archify. 01 / Nguồn 02 / Chuẩn bị 03 / Lưu trữ 04 / Truy xuất 05 / Sinh trả lời Tài liệu · PDF, web, wiki, database · 01 / Nguồn · knowledge Tài liệu PDF, web, wiki, database knowledge Câu hỏi người dùng · ý định cần trả lời · 01 / Nguồn · query Câu hỏi người dùng ý định cần trả lời query Chia đoạn · chunk + metadata · 02 / Chuẩn bị · offline Chia đoạn chunk + metadata offline Embedding tài liệu · đổi đoạn thành vector · 02 / Chuẩn bị · offline Embedding tài liệu đổi đoạn thành vector offline Embedding câu hỏi · đổi query thành vector · 02 / Chuẩn bị · online Embedding câu hỏi đổi query thành vector online Vector index · vector + đoạn gốc · 03 / Lưu trữ · semantic Vector index vector + đoạn gốc semantic Retriever · top-k similarity search · 04 / Truy xuất · lookup Retriever top-k similarity search lookup Reranker / filter · lọc nhiễu, xếp hạng lại · 04 / Truy xuất · quality Reranker / filter lọc nhiễu, xếp hạng lại quality Prompt builder · câu hỏi + ngữ cảnh · 05 / Sinh trả lời · grounding Prompt builder câu hỏi + ngữ cảnh grounding LLM · sinh câu trả lời · 05 / Sinh trả lời · generate LLM sinh câu trả lời generate Câu trả lời · kèm nguồn · 05 / Sinh trả lời · response Câu trả lời kèm nguồn response nội dung thô offline ingest đoạn nhỏ + metadata prepared chunks vector tài liệu semantic index query hiện tại online request vector câu hỏi similarity query ứng viên top-k nearest chunks đoạn liên quan candidate context ngữ cảnh đã chọn grounding context prompt có ngữ cảnh grounded generation trả lời + nguồn final response Legend primary data policy / PII data store data flow