Hai hệ thống cùng mean nhưng rủi ro rất khác nhau

Hai hệ thống cùng mean nhưng rủi ro rất khác nhau A data-flow diagram generated by Archify. 01 / Điểm trung bình 02 / Phân bố per-case 03 / Case xấu nhất 04 / Số case dưới 0.5 05 / Rủi ro thực tế System A mean 0.90 · faithfulness · 01 / Điểm trung bình System A mean 0.90 faithfulness 0.88 tới 0.92 · dao động rất hẹp · 02 / Phân bố per-case 0.88 tới 0.92 dao động rất hẹp Thấp nhất 0.88 · không có case nào gãy · 03 / Case xấu nhất Thấp nhất 0.88 không có case nào gãy 0 case · không có catastrophic · 04 / Số case dưới 0.5 0 case không có catastrophic Ổn định · hành vi dự đoán được · 05 / Rủi ro thực tế Ổn định hành vi dự đoán được System B mean 0.90 · cùng một con số · 01 / Điểm trung bình System B mean 0.90 cùng một con số Toàn 1.00 và một 0.40 · phân bố lệch hẳn · 02 / Phân bố per-case Toàn 1.00 và một 0.40 phân bố lệch hẳn Thấp nhất 0.40 · một case gãy hẳn · 03 / Case xấu nhất Thấp nhất 0.40 một case gãy hẳn 7 case · hallucination rõ rệt · 04 / Số case dưới 0.5 7 case hallucination rõ rệt Có đuôi nguy hiểm · rủi ro nằm ở phần đuôi · 05 / Rủi ro thực tế Có đuôi nguy hiểm rủi ro nằm ở phần đuôi xem từng case lấy điểm thấp nhất đếm case nặng kết luận xem từng case lấy điểm thấp nhất đếm case nặng kết luận Legend primary data data store data flow

Mean không phân biệt được hai phân bố này

  • • Cả hai đều cho trung bình faithfulness bằng 0.90
  • • A dao động quanh 0.90, B gần như hoàn hảo trừ vài case gãy hẳn
  • • Với hallucination, phần đuôi thường quan trọng hơn 0.01 điểm trung bình

Nên xem ít nhất sáu con số

  • • mean, median và pass rate
  • • điểm ở phân vị thấp và số case thất bại nghiêm trọng
  • • phân loại theo category để biết lỗi tập trung ở nhóm nào

Vì A và B chạy cùng query nên có thể phân tích theo cặp

  • • Mỗi case có một cặp điểm, hiệu của chúng là delta của case đó
  • • Delta cho biết B cải thiện query nào và làm hỏng query nào
  • • Một bản nâng cấp có thể tăng mean nhưng regression mạnh ở nhóm quan trọng