Threshold được chọn từ chi phí của hai loại lỗi, không lấy sẵn 0.5

Threshold được chọn từ chi phí của hai loại lỗi, không lấy sẵn 0.5 A data-flow diagram generated by Archify. 01 / Sample 02 / Hai nguồn phán xét 03 / Đối chiếu 04 / Hai loại lỗi 05 / Chọn ngưỡng Sample đại diện · giống traffic thật · 01 / Sample Sample đại diện giống traffic thật Human reviewer · gán nhãn tốt hoặc tệ · 02 / Hai nguồn phán xét Human reviewer gán nhãn tốt hoặc tệ So judge với người · bảng bốn ô · 03 / Đối chiếu So judge với người bảng bốn ô False pass · người chê mà metric cho qua · 04 / Hai loại lỗi False pass người chê mà metric cho qua Threshold đã chọn · theo chi phí từng loại lỗi · 05 / Chọn ngưỡng Threshold đã chọn theo chi phí từng loại lỗi DeepEval score · cùng metric, cùng judge · 02 / Hai nguồn phán xét DeepEval score cùng metric, cùng judge False fail · người khen mà metric chặn · 04 / Hai loại lỗi False fail người khen mà metric chặn cho người chấm nhãn tham chiếu lỗi bỏ lọt cân nhắc chi phí chạy cùng sample điểm của metric lỗi chặn nhầm đánh đổi ngược lại Legend primary data data store data flow

0.5 là mặc định của framework, không phải ngưỡng chất lượng

  • • Nó tiện để bắt đầu, nhưng không mang ý nghĩa phổ quát
  • • Ngưỡng production phải phản ánh kỳ vọng người dùng và rủi ro nghiệp vụ
  • • Nó cũng phụ thuộc vào hành vi của chính judge model đang dùng

Hai loại lỗi có chi phí khác nhau

  • • False pass là câu trả lời tệ nhưng được metric cho qua
  • • False fail là câu trả lời ổn nhưng bị chặn lại
  • • Tăng threshold làm giảm loại thứ nhất và tăng loại thứ hai

Với traffic tiếng Việt thì calibrate trên dữ liệu tiếng Việt

  • • Judge là một evaluator đã học, hành vi chấm đổi theo ngôn ngữ và domain
  • • Một calibration set tiếng Anh không đủ để kết luận cho tiếng Việt
  • • Nên lấy sample giống production, cho người gán nhãn rồi mới chọn ngưỡng