Vòng đời chất lượng của một hệ RAG sau khi deploy

Vòng đời chất lượng của một hệ RAG sau khi deploy A lifecycle diagram generated by Archify. 01 / Vòng lặp chất lượng ở production 02 / Nếu vòng lặp bị cắt ở giữa 03 / Outcomes Deploy · đã qua quality gate · Vòng lặp chất lượng ở production 01 Deploy đã qua quality gate Trace · ghi lại từng chặng · Vòng lặp chất lượng ở production 02 Trace ghi lại từng chặng Online eval · chấm mẫu, không chặn user · Vòng lặp chất lượng ở production 03 Online eval chấm mẫu, không chặn user Phát hiện · lỗi, drift hay hồi quy · Vòng lặp chất lượng ở production 04 Phát hiện lỗi, drift hay hồi quy Curate golden · lỗi thật thành regression · Vòng lặp chất lượng ở production 05 Curate golden lỗi thật thành regression Dừng ở dashboard · biết có lỗi, không tìm gốc · Nếu vòng lặp bị cắt ở giữa Dừng ở dashboard biết có lỗi, không tìm gốc Lỗi cũ quay lại · vài tháng sau, cùng lỗi · Nếu vòng lặp bị cắt ở giữa Lỗi cũ quay lại vài tháng sau, cùng lỗi nếu chỉ đọc biểu đồ không có regression case Legend start active state decision terminal success failure / exit

Production không phải điểm kết thúc

  • • Benchmark chỉ chứng minh hệ thống vượt qua những lỗi đã biết
  • • Traffic thật là nơi lộ ra lỗi chưa từng có trong dataset
  • • Bước 05 đóng vòng lại: golden mới quay về làm điều kiện cho lần deploy sau

Khâu dễ bị bỏ quên nhất là bước 05

  • • Sửa xong rồi đóng incident thì lỗi cũ có thể quay lại sau vài tháng
  • • Chỉ khi lỗi được viết thành golden thì nó mới được canh gác tự động
  • • Thiếu bước này, monitoring vẫn chỉ là quan sát chứ chưa phải học

Mỗi incident phải cải thiện hai hệ thống

  • • Hệ thống RAG được sửa để không tái phạm lỗi đó
  • • Hệ thống đánh giá được bổ sung để lần sau bắt được sớm hơn
  • • Câu hỏi hậu sự cố quan trọng nhất là vì sao offline test không thấy