Đo và chặn là hai cơ chế khác nhau, đặt nhầm chỗ là hỏng cả hai

Đo và chặn là hai cơ chế khác nhau, đặt nhầm chỗ là hỏng cả hai A workflow diagram generated by Archify. 01 / Evaluation — đo, không chặn 02 / Guardrail — chặn trước khi tới user Trả lời ứng viên · pipeline vừa sinh xong · Evaluation — đo, không chặn Trả lời ứng viên pipeline vừa sinh xong Chấm bất đồng bộ · judge chạy sau, không ai chờ · Evaluation — đo, không chặn Chấm bất đồng bộ judge chạy sau, không ai chờ Lưu điểm và lý do · gắn theo trace_id · Evaluation — đo, không chặn Lưu điểm và lý do gắn theo trace_id Phân tích, cải thiện · slice, curate, sửa gốc · Evaluation — đo, không chặn Phân tích, cải thiện slice, curate, sửa gốc Kiểm tra đồng bộ · ACL, PII, hành động · Guardrail — chặn trước khi tới user Kiểm tra đồng bộ ACL, PII, hành động Chặn hoặc sinh lại · user không thấy bản lỗi · Guardrail — chặn trước khi tới user Chặn hoặc sinh lại user không thấy bản lỗi nếu rủi ro quá cao khi không đạt sau khi đã trả lời user điểm kèm lý do gom nhóm theo loại lỗi Legend Agent logic Policy Context / trace Cloud service External system

Hai mục tiêu khác nhau

  • • Evaluation để học, theo dõi, so sánh và gỡ lỗi
  • • Guardrail để ngăn một output không được phép đi ra ngoài
  • • Cùng một Faithfulness judge có thể phục vụ mục tiêu thứ nhất

Có những yêu cầu không thể đo sau

  • • Không được lộ tài liệu mật thì phải chặn ngay trong retrieval
  • • Lọc ở tầng hiển thị là quá muộn vì LLM đã đọc nội dung đó rồi
  • • PII, hành động nguy hiểm và vi phạm chính sách cũng thuộc nhóm này

Đây là quyết định kiến trúc, không phải chọn metric

  • • Chặn đồng bộ thì tốn latency và thêm một dependency vào request
  • • Đo bất đồng bộ thì rẻ nhưng không ngăn được lần sai đầu tiên
  • • Chọn theo giá của một lần sai chứ không theo độ tiện của công cụ