Ba lớp quan sát của một hệ RAG, mỗi lớp trả lời một câu hỏi khác

Ba lớp quan sát của một hệ RAG, mỗi lớp trả lời một câu hỏi khác An architecture diagram generated by Archify. RAG application · một request đang chạy · Architecture component RAG application một request đang chạy Operational · latency, lỗi, token, chi phí · Architecture component Operational latency, lỗi, token, chi phí Pipeline · từng chặng bên trong request · Architecture component Pipeline từng chặng bên trong request Quality · câu trả lời có dùng được không · Architecture component Quality câu trả lời có dùng được không HTTP 200 mà vẫn sai · lớp này không nhìn thấy · Architecture component HTTP 200 mà vẫn sai lớp này không nhìn thấy 3,4 giây nằm ở đâu · chỉ trace từng span mới nói được · Architecture component 3,4 giây nằm ở đâu chỉ trace từng span mới nói được Judge, người dùng, chuyên gia · tín hiệu chất lượng đến từ nhiều nguồn · Architecture component Judge, người dùng, chuyên gia tín hiệu chất lượng đến từ nhiều nguồn đo hạ tầng đo từng chặng đo câu trả lời điểm mù câu hỏi lớp pipeline trả lời nguồn tín hiệu Legend Backend Cloud Security Message bus External

Hạ tầng khỏe không có nghĩa là user được phục vụ tốt

  • • Service trả 200, latency bình thường, CPU bình thường
  • • Và câu trả lời vẫn có thể sai hoàn toàn
  • • Từ phía hạ tầng là thành công, từ phía người dùng là thất bại

Không có lớp pipeline thì mọi lỗi đều thành một câu

  • • Một request 3,4 giây mà không biết 3,4 giây đó nằm ở chặng nào
  • • Mọi hồi quy latency khi đó chỉ được mô tả là RAG chậm
  • • Chất lượng cũng vậy: sai ở retrieval, rerank, context hay generation

Quality không nhất thiết phải là LLM judge

  • • Kiểm tra tất định như retrieval rỗng hay thiếu citation rất rẻ
  • • Tín hiệu sản phẩm như user hỏi lại hay chuyển người thật cũng đáng đo
  • • Microsoft nhìn RAG production theo chất lượng, chi phí và độ trễ cùng lúc