Runbook khi một SLI chất lượng tụt: xác thực trước, quy tội sau

Runbook khi một SLI chất lượng tụt: xác thực trước, quy tội sau A workflow diagram generated by Archify. 01 / Năm bước trước khi kết luận 02 / Bẫy thường gặp ở mỗi bước Xác thực tín hiệu · mẫu đủ chưa, judge sao · Năm bước trước khi kết luận Xác thực tín hiệu mẫu đủ chưa, judge sao Soi mốc thay đổi · deploy, prompt, index · Năm bước trước khi kết luận Soi mốc thay đổi deploy, prompt, index Cắt lát · ngôn ngữ, tenant, loại · Năm bước trước khi kết luận Cắt lát ngôn ngữ, tenant, loại Đọc trace mẫu · 5 tới 20 ca tiêu biểu · Năm bước trước khi kết luận Đọc trace mẫu 5 tới 20 ca tiêu biểu Giảm thiểu rồi sửa · rollback trước, sửa sau · Năm bước trước khi kết luận Giảm thiểu rồi sửa rollback trước, sửa sau Judge hỏng · chứ không phải RAG · Bẫy thường gặp ở mỗi bước Judge hỏng chứ không phải RAG Trung bình che mất · một tenant đang sập · Bẫy thường gặp ở mỗi bước Trung bình che mất một tenant đang sập nếu bỏ qua nếu nhìn số tổng tín hiệu đáng tin có mốc nghi ngờ biết nhóm hỏng biết tầng hỏng Legend Agent logic Policy Tool action Context / trace Cloud service External system

Bước đầu tiên là nghi ngờ chính thiết bị đo

  • • Sampling có đổi không, judge backend có khỏe không, judge version có đổi không
  • • Rất phí công khi debug RAG trong lúc thứ hỏng là evaluator
  • • Vì vậy không nên đổi judge model và RAG trong cùng một lần

Một sự cố có thể chỉ sống trong một giao điểm

  • • Tiếng Việt cộng hội thoại nhiều lượt cộng câu hỏi chính sách cộng prompt v18
  • • Số trung bình toàn hệ thống gần như không dịch chuyển
  • • Không có metadata đủ giàu thì sự cố này vô hình

Sự cố chỉ đóng khi lỗi đã tái lập được

  • • Biểu đồ xanh trở lại không phải điều kiện đủ để đóng
  • • Nguyên nhân gốc phải được hiểu và lỗi phải thành regression case
  • • Postmortem nên hỏi vì sao offline test không bắt được trước khi deploy