Năm mối lo quanh pipeline RAG khi lên production

Năm mối lo quanh pipeline RAG khi lên production An architecture diagram generated by Archify. RAG core pipeline · index, retrieval, generation · Architecture component RAG core pipeline index, retrieval, generation Security và ACL · lọc quyền ngay trong retrieval · Architecture component · fail closed Security và ACL lọc quyền ngay trong retrieval fail closed Observability · trace từng chặng, không chỉ hai đầu · Architecture component Observability trace từng chặng, không chỉ hai đầu Freshness · source đổi bao lâu thì index thấy · Architecture component Freshness source đổi bao lâu thì index thấy Evaluation · vòng lặp bao quanh cả pipeline · Architecture component Evaluation vòng lặp bao quanh cả pipeline Latency và cost · ngân sách cho từng chặng · Architecture component Latency và cost ngân sách cho từng chặng Reliability · hành vi khi một thành phần chết · Architecture component Reliability hành vi khi một thành phần chết chặn trước khi LLM đọc SLA cập nhật index ngân sách mỗi request ghi lại quyết định lọc bắt index lệch khi vượt ngân sách Legend Frontend Backend Database Cloud Security Message bus External

Permission phải nằm trong retrieval

  • • Retriever lấy chunk cấm thì LLM đã nhìn thấy nó rồi
  • • Lọc ở tầng hiển thị là quá muộn, câu trả lời đã nhiễm
  • • tenant_id và document ACL vì vậy là security primitive

Freshness và cache là hai mặt một vấn đề

  • • Mỗi use case một SLA, FAQ khác hẳn incident runbook
  • • Cache answer nguy hiểm nếu tài liệu nguồn đã đổi
  • • Cache key nên gồm cả index version và prompt version

Cần hành vi thất bại đoán trước được

  • • Vector store timeout, reranker chậm, LLM rate limit
  • • Retry, bỏ reranker, chỉ dùng lexical hay trả lời một phần
  • • Không chỉ tối ưu best case mà cả cách hỏng của hệ thống