Từ điểm thô của judge tới một cảnh báo đáng để ai đó thức dậy

Từ điểm thô của judge tới một cảnh báo đáng để ai đó thức dậy A workflow diagram generated by Archify. 01 / Bốn tầng biến điểm thành hành động 02 / Nếu bỏ tầng gộp ở giữa Điểm thô · từng trace được chấm · Bốn tầng biến điểm thành hành động Điểm thô từng trace được chấm SLI · tỷ lệ pass trên mẫu · Bốn tầng biến điểm thành hành động SLI tỷ lệ pass trên mẫu SLO · mục tiêu theo cửa sổ · Bốn tầng biến điểm thành hành động SLO mục tiêu theo cửa sổ Alert policy · vi phạm bao lâu, ở đâu · Bốn tầng biến điểm thành hành động Alert policy vi phạm bao lâu, ở đâu Có việc để làm · runbook, không phải tin · Bốn tầng biến điểm thành hành động Có việc để làm runbook, không phải tin Báo từng request · mỗi lần fail một alert · Nếu bỏ tầng gộp ở giữa Báo từng request mỗi lần fail một alert Alert fatigue · on-call ngừng tin · Nếu bỏ tầng gộp ở giữa Alert fatigue on-call ngừng tin nếu bỏ bước gộp nếu ngưỡng quá nhạy quy về pass/fail rồi tính tỷ lệ đặt mục tiêu có cửa sổ ngưỡng tuyệt đối và mức tụt đủ tin để gọi người Legend Agent logic Policy Tool action Context / trace Cloud service External system

Một con số chưa phải một tín hiệu vận hành

  • • Faithfulness bằng 0,82 không tự nói production có đang khỏe hay không
  • • SLI là phép đo định lượng một khía cạnh dịch vụ, SLO là mục tiêu cho phép đo đó
  • • Có SLO rồi thì mới định nghĩa được thế nào là vi phạm

Cần cả ngưỡng tuyệt đối lẫn mức tụt so với nền

  • • Chất lượng thường ở 0,91 rồi rơi xuống 0,79 vẫn trên ngưỡng 0,75
  • • Nhìn ngưỡng thì PASS, nhìn baseline thì đây là hồi quy nghiêm trọng
  • • Hai loại cảnh báo này nên tồn tại song song chứ không thay nhau

Kích thước mẫu phải đi kèm mọi con số

  • • 60 phần trăm trên 5 mẫu khác hẳn 60 phần trăm trên 50 nghìn mẫu
  • • Judge có nhiễu và traffic có phương sai tự nhiên
  • • Google SRE nhắc cân bằng độ chính xác, độ phủ và thời gian phát hiện