Cùng ba relevant chunk, thứ hạng khác nhau cho hai điểm rất khác nhau

Cùng ba relevant chunk, thứ hạng khác nhau cho hai điểm rất khác nhau A data-flow diagram generated by Archify. 01 / Kết quả retrieve 02 / Thứ tự trả về 03 / precision tại rank 04 / Trung bình 05 / Chất lượng ranking 3 relevant / 5 chunk · cả hai retriever giống nhau · 01 / Kết quả retrieve 3 relevant / 5 chunk cả hai retriever giống nhau A: R R x x R · relevant nằm ngay trên đầu · 02 / Thứ tự trả về A: R R x x R relevant nằm ngay trên đầu 1.00 · 1.00 · 0.60 · precision tại rank 1, 2, 5 · 03 / precision tại rank 1.00 · 1.00 · 0.60 precision tại rank 1, 2, 5 Cộng chia cho 3 · chia cho số relevant · 04 / Trung bình Cộng chia cho 3 chia cho số relevant CP ≈ 0.867 · evidence xuất hiện sớm · 05 / Chất lượng ranking CP ≈ 0.867 evidence xuất hiện sớm B: x x R R R · relevant bị đẩy xuống dưới · 02 / Thứ tự trả về B: x x R R R relevant bị đẩy xuống dưới 0.33 · 0.50 · 0.60 · precision tại rank 3, 4, 5 · 03 / precision tại rank 0.33 · 0.50 · 0.60 precision tại rank 3, 4, 5 Cộng chia cho 3 · cùng một công thức · 04 / Trung bình Cộng chia cho 3 cùng một công thức CP ≈ 0.478 · phải đọc qua noise mới tới · 05 / Chất lượng ranking CP ≈ 0.478 phải đọc qua noise mới tới retriever A xếp tính tại mỗi rank gộp lại ra điểm retriever B xếp tính tại mỗi rank gộp lại ra điểm Legend primary data data store data flow

Precision hỏi về thứ tự, không hỏi về số lượng

  • • Hai retriever cùng lấy được ba chunk relevant trên năm chunk
  • • Nếu chỉ đếm số relevant thì chúng ngang nhau
  • • Nhưng A đưa evidence hữu ích lên trước, B bắt đọc qua nhiễu

Công thức gần với Average Precision

  • • Với mỗi rank có chunk relevant, tính precision tính đến rank đó
  • • Cộng các giá trị này rồi chia cho tổng số relevant chunk
  • • Vị trí càng sớm thì đóng góp vào điểm càng lớn

Đây là metric để đánh giá reranker

  • • Nó phản ánh trực tiếp chất lượng của ranking strategy
  • • Hybrid retrieval và thứ tự top-k đều lộ ra ở metric này
  • • Judge dùng expected_output để xác định chunk nào thực sự relevant