Contextual Recall đo phần evidence cần thiết mà retriever lấy được

Contextual Recall đo phần evidence cần thiết mà retriever lấy được A workflow diagram generated by Archify. 01 / Đường đo coverage EX / Recall cao chưa đủ expected_output · câu trả lời lý tưởng · Đường đo coverage expected_output câu trả lời lý tưởng Tách statement · F1 F2 F3 F4 cần có · Đường đo coverage Tách statement F1 F2 F3 F4 cần có Đối chiếu context · judge đọc retrieval_context · Đường đo coverage Đối chiếu context judge đọc retrieval_context Attributable? · F3 không tìm thấy · Đường đo coverage Attributable? F3 không tìm thấy Recall = 3/4 · tỉ lệ statement có căn cứ · Đường đo coverage Recall = 3/4 tỉ lệ statement có căn cứ Top-20 vẫn đủ · 3 relevant, 17 nhiễu · Recall cao chưa đủ Top-20 vẫn đủ 3 relevant, 17 nhiễu Cái giá phải trả · token, latency, nhiễu tăng · Recall cao chưa đủ Cái giá phải trả token, latency, nhiễu tăng vẫn đạt cao đổi lại là phân rã từng ý có / không cộng lại Legend Agent logic Policy Tool action Context / trace Cloud service External system

Recall là metric reference-based

  • • Nó cần expected_output để biết những gì đáng lẽ phải có
  • • Judge xác định từng statement cần thiết có được context hỗ trợ không
  • • Score là tỉ lệ statement được attribute trên tổng số statement cần thiết

Recall cao không đồng nghĩa retrieval tốt toàn diện

  • • Lấy top-20 gần như luôn dễ đạt recall cao hơn top-5
  • • Nhưng 17 chunk nhiễu vẫn được tính là đã lấy đủ
  • • Đó là lý do cần thêm Precision và Relevancy

Cái giá của việc kéo về quá nhiều

  • • Prompt dài hơn, token và chi phí generation tăng
  • • Tỉ lệ tín hiệu trên nhiễu giảm, LLM dễ bám nhầm evidence
  • • Latency tăng theo độ dài context