Faithfulness đối chiếu từng claim với evidence đã retrieve

Faithfulness đối chiếu từng claim với evidence đã retrieve A workflow diagram generated by Archify. 01 / Đường đo groundedness EX / Chỗ dễ hiểu nhầm actual_output · câu trả lời vừa sinh · Đường đo groundedness actual_output câu trả lời vừa sinh Tách claim · C1, C2, C3 · Đường đo groundedness Tách claim C1, C2, C3 Đối chiếu context · chỉ đọc retrieval_context · Đường đo groundedness Đối chiếu context chỉ đọc retrieval_context Supported? · C3 không có căn cứ · Đường đo groundedness Supported? C3 không có căn cứ 2/3 ≈ 0.667 · tỉ lệ claim được support · Đường đo groundedness 2/3 ≈ 0.667 tỉ lệ claim được support Không đo đúng sai · đúng thật vẫn có thể fail · Chỗ dễ hiểu nhầm Không đo đúng sai đúng thật vẫn có thể fail Không cần reference · chạy được trên production · Chỗ dễ hiểu nhầm Không cần reference chạy được trên production phạm vi đo field cần phân rã từng claim có / không cộng lại Legend Agent logic Policy Tool action Context / trace Cloud service External system

Faithfulness đo quan hệ giữa câu trả lời và evidence

  • • Judge tách answer thành các claim rồi xét từng claim một
  • • Câu hỏi luôn là claim này có được retrieval_context hỗ trợ không
  • • Score là tỉ lệ claim được support trên tổng số claim

Đây là groundedness, không phải factual correctness

  • • Context chỉ ghi GPT-4 ra tháng 3 năm 2023
  • • Answer thêm câu do OpenAI phát triển, đúng với thế giới thực
  • • Nhưng không có evidence trong context nên vẫn bị coi là unsupported

Metric này chạy được ở nơi không có ground truth

  • • Nó chỉ cần actual_output và retrieval_context
  • • Vì vậy dùng được trực tiếp trên production traffic
  • • Đó cũng là lý do nó thường được chọn làm hard gate