Benchmark phủ được vùng đã biết, production mới lộ ra phần còn lại

Benchmark phủ được vùng đã biết, production mới lộ ra phần còn lại A data-flow diagram generated by Archify. 01 / Nguồn câu hỏi 02 / Được đo bằng gì 03 / Kết luận rút ra 04 / Nơi hai đường gặp nhau Golden dataset · mẫu của hành vi đã lường trước · 01 / Nguồn câu hỏi Golden dataset mẫu của hành vi đã lường trước Benchmark offline · chạy lại được, có nhãn · 02 / Được đo bằng gì Benchmark offline chạy lại được, có nhãn PASS · đúng trên những gì đã biết · 03 / Kết luận rút ra PASS đúng trên những gì đã biết Traffic thật · user, cách hỏi, tài liệu mới · 01 / Nguồn câu hỏi Traffic thật user, cách hỏi, tài liệu mới Query ngoài phân bố · typo, slang, đa lượt, thực thể hiếm · 02 / Được đo bằng gì Query ngoài phân bố typo, slang, đa lượt, thực thể hiếm Lỗi chưa ai biết · không có case nào đang canh · 03 / Kết luận rút ra Lỗi chưa ai biết không có case nào đang canh Trace và online eval · chỗ duy nhất nhìn thấy cả hai · 04 / Nơi hai đường gặp nhau Trace và online eval chỗ duy nhất nhìn thấy cả hai chạy trước khi deploy vượt mọi ngưỡng tự tin có cơ sở phân bố tự thay đổi không ai viết test cho nó chỉ lộ ra khi có traffic Legend primary data data flow

Hai câu hỏi khác nhau

  • • Offline hỏi: có làm hỏng thứ ta đã biết cách test không
  • • Production hỏi: user cho thấy điều gì ta chưa biết cách test
  • • Không cái nào thay thế được cái còn lại

Golden set chỉ là một mẫu

  • • Golden set đại diện cho hành vi tại lúc viết ra nó
  • • Usage và requirement đổi thì mẫu đó cũ đi mà không báo
  • • Vì vậy dataset phải được cập nhật, không viết một lần

PASS offline và FAIL production không mâu thuẫn

  • • PASS offline và FAIL production không hề mâu thuẫn
  • • Hai bên đo trên hai phân bố câu hỏi khác nhau
  • • Chỉ trace production mới chỉ ra nhóm nào đang hỏng