Một request RAG đi qua những chặng nào và mất bao lâu ở đâu

Một request RAG đi qua những chặng nào và mất bao lâu ở đâu A sequence diagram generated by Archify. raw query + hội thoại retrieval query + filter cùng query, khớp token dense ranked list sparse ranked list candidate sau RRF 8 evidence có điểm grounded prompt + source_id câu trả lời kèm citation Query processing — 210 ms Hybrid retrieval — 90 ms Reranking — 170 ms Generation — 1320 ms Ứng dụng · câu hỏi user · Sequence participant Ứng dụng câu hỏi user Query proc · rewrite + filter · Sequence participant Query proc rewrite + filter Dense · ANN index · Sequence participant Dense ANN index BM25 · inverted index · Sequence participant BM25 inverted index Reranker · cross-encoder · Sequence participant Reranker cross-encoder LLM · grounded answer · Sequence participant LLM grounded answer Legend request return default message

Chỉ log input và output thì không root-cause được

  • • Cần biết query gốc là gì và nó được rewrite thành gì
  • • Cần biết filter nào được áp, dense trả gì, BM25 trả gì, fusion xếp ra sao
  • • Cần biết context cuối gồm chunk nào và prompt version nào đã chạy

Latency budget lộ ra chỗ đáng tối ưu

  • • Generation thường chiếm phần lớn thời gian của một request
  • • Rerank là chặng đắt thứ hai và tăng theo số candidate được chấm
  • • Thêm agent loop vào đây thì con số tổng có thể nhân lên nhiều lần