Sampling ở production là bài toán phân bổ ngân sách, không phải một con số

Sampling ở production là bài toán phân bổ ngân sách, không phải một con số A data-flow diagram generated by Archify. 01 / Traffic 02 / Ba dòng chọn mẫu 03 / Được chấm 04 / Cách đọc Traffic production · một triệu request mỗi ngày · 01 / Traffic Traffic production một triệu request mỗi ngày Ngẫu nhiên 5% · ước lượng chất lượng chung · 02 / Ba dòng chọn mẫu Ngẫu nhiên 5% ước lượng chất lượng chung Có tín hiệu xấu 100% · thumbs-down, retrieval rỗng · 02 / Ba dòng chọn mẫu Có tín hiệu xấu 100% thumbs-down, retrieval rỗng Theo mức rủi ro · FAQ 5%, quy trình bảo mật 100% · 02 / Ba dòng chọn mẫu Theo mức rủi ro FAQ 5%, quy trình bảo mật 100% Online evaluation · judge đắt và kiểm tra rẻ · 03 / Được chấm Online evaluation judge đắt và kiểm tra rẻ Đọc tách nhau · ước lượng khác chẩn đoán · 04 / Cách đọc Đọc tách nhau ước lượng khác chẩn đoán Query lạ · chủ đề, ngôn ngữ mới · 04 / Cách đọc Query lạ chủ đề, ngôn ngữ mới không thiên lệch bắt lỗi đã lộ theo giá một lần sai mẫu nền mẫu chẩn đoán mẫu rủi ro cao kèm sampling_policy phần ngân sách còn lại Legend primary data async batch data store data flow

Không phải metric nào cũng cùng một tỷ lệ

  • • Latency đã có sẵn trong telemetry nên lấy được 100%
  • • Retrieval rỗng là kiểm tra tất định, rẻ, cũng nên 100%
  • • Faithfulness dùng LLM judge nên mới cần lấy mẫu

Ngân sách quyết định tỷ lệ

  • • Một triệu request, 0,003 đô mỗi trace, ngân sách 300 đô
  • • Tỷ lệ trung bình tối đa vì vậy là khoảng 10 phần trăm
  • • Phần đó nên được chia có chủ đích chứ không rải đều

Bốn dòng trả lời bốn câu hỏi khác nhau

  • • Ngẫu nhiên cho ước lượng chất lượng toàn cục
  • • Tín hiệu xấu và rủi ro cao cho chẩn đoán và bảo vệ
  • • Query lạ cho biết dataset đang thiếu vùng nào