Không cùng thang đo thì hợp nhất theo thứ hạng

Không cùng thang đo thì hợp nhất theo thứ hạng An architecture diagram generated by Archify. Hai ranked list · BM25 và dense cho cùng query · Architecture component Hai ranked list BM25 và dense cho cùng query Cộng thẳng điểm thô · 12.7 cộng 0.84 · Architecture component Cộng thẳng điểm thô 12.7 cộng 0.84 Phép cộng vô nghĩa · hai phân phối điểm khác hẳn nhau · Architecture component · không dùng Phép cộng vô nghĩa hai phân phối điểm khác hẳn nhau không dùng Chuẩn hoá rồi cộng · cần calibrate theo từng query · Architecture component Chuẩn hoá rồi cộng cần calibrate theo từng query Mạnh nhưng đắt · cần dữ liệu và bảo trì · Architecture component · có điều kiện Mạnh nhưng đắt cần dữ liệu và bảo trì có điều kiện Hợp nhất theo thứ hạng · cộng nghịch đảo của k cộng rank · Architecture component Hợp nhất theo thứ hạng cộng nghịch đảo của k cộng rank Baseline đơn giản mà chắc · chỉ cần biết đang đứng hạng mấy · Architecture component · mặc định tốt Baseline đơn giản mà chắc chỉ cần biết đang đứng hạng mấy mặc định tốt cách ngây thơ cách công phu cách thực dụng kết quả kết quả kết quả Legend Frontend Backend Database Cloud Security Message bus

Vì sao thứ hạng lại là đơn vị chung tiện nhất

  • • Điểm BM25 phụ thuộc term, thống kê corpus và độ dài document
  • • Điểm cosine nằm ở phân phối khác, tuỳ embedding model
  • • Nhưng đứng hạng hai trong một list thì luôn có nghĩa như nhau

Cách RRF thưởng cho sự đồng thuận

  • • Một document đứng cao ở nhiều list sẽ cộng được nhiều số hạng lớn
  • • Hằng số k làm dịu chênh lệch ở nhóm rất đầu bảng
  • • Azure AI Search dùng đúng cơ chế này cho hybrid và cho nhiều vector query

RRF không phải là tối ưu phổ quát

  • • Hợp nhất theo rank bỏ đi phần lớn thông tin trong điểm thô
  • • Có điểm đã calibrate hoặc learning-to-rank thì fusion học được tốt hơn
  • • Hãy coi RRF là baseline mạnh và đơn giản để so đo, không phải điểm dừng