Không phải trace lỗi nào cũng nên trở thành golden

Không phải trace lỗi nào cũng nên trở thành golden A data-flow diagram generated by Archify. 01 / Lỗi thật 02 / Gom nhóm 03 / Chọn đại diện 04 / Bổ sung nhãn 05 / Tài sản regression Trace lỗi · điểm thấp hoặc báo · 01 / Lỗi thật Trace lỗi điểm thấp hoặc báo Gom nguyên nhân · một failure mode · 02 / Gom nhóm Gom nguyên nhân một failure mode Chọn đại diện · đủ phủ, không trùng · 03 / Chọn đại diện Chọn đại diện đủ phủ, không trùng Thêm ground truth · nhãn và nguồn đúng · 04 / Bổ sung nhãn Thêm ground truth nhãn và nguồn đúng Golden mới · vào regression suite · 05 / Tài sản regression Golden mới vào regression suite Nếu nhét hết · dataset phình to · 02 / Gom nhóm Nếu nhét hết dataset phình to phân loại lỗi khử trùng lặp curator viết nhãn bản sau phải qua nếu bỏ gom nhóm Legend primary data data store data flow

Golden dataset không phải kho log

  • • Một case đáng giữ khi nó đại diện cho một failure mode mới
  • • Hoặc là một tình huống nghiệp vụ quan trọng, một edge case rủi ro cao
  • • Nghìn cách hỏi cùng một ý chỉ cần vài case đại diện

Trace thô chưa phải golden

  • • Trace chỉ có input, actual_output và retrieval_context
  • • Curator phải thêm expected_output, nguồn đúng và loại lỗi
  • • Có nhãn rồi case mới trở thành tài sản regression dùng lại được

Gắn nguồn gốc cho mỗi golden

  • • origin ghi rõ case này đến từ một lỗi production
  • • failure_type cho biết nó đang canh gác loại lỗi nào
  • • Nhờ vậy dataset đọc được như lịch sử những gì team đã học