Dense và sparse hỏng theo hai kiểu khác nhau nên được hợp nhất theo rank

Dense và sparse hỏng theo hai kiểu khác nhau nên được hợp nhất theo rank A data-flow diagram generated by Archify. 01 / Query 02 / Hai kiểu search 03 / Ranked list 04 / Fusion 05 / Candidate Retrieval query · sau khi đã biến đổi · 01 / Query Retrieval query sau khi đã biến đổi Dense retrieval · ANN trên embedding · 02 / Hai kiểu search Dense retrieval ANN trên embedding Dense ranked list · gần nhau về nghĩa · 03 / Ranked list Dense ranked list gần nhau về nghĩa Rank fusion (RRF) · cộng theo rank, không theo score · 04 / Fusion Rank fusion (RRF) cộng theo rank, không theo score Candidate set · đầu vào của reranker · 05 / Candidate Candidate set đầu vào của reranker BM25 / lexical · khớp token hiếm · 02 / Hai kiểu search BM25 / lexical khớp token hiếm Sparse ranked list · khớp đúng mặt chữ · 03 / Ranked list Sparse ranked list khớp đúng mặt chữ cùng một truy vấn top-k theo similarity list thứ nhất một danh sách duy nhất chạy song song top-k theo term list thứ hai Legend primary data data store data flow

Hai tín hiệu trả lời hai câu hỏi khác nhau

  • • Dense hỏi hai đoạn này có gần nhau về nghĩa không
  • • Sparse hỏi token quan trọng có thật sự xuất hiện không
  • • Terminate my account và closing a subscription ít trùng chữ

Không cộng thẳng cosine với điểm BM25

  • • Hai loại điểm không cùng thang đo nên phép cộng không có ý nghĩa
  • • RRF bỏ điểm thô và chỉ dùng thứ hạng: tổng của 1 chia cho k cộng rank
  • • Azure AI Search dùng RRF cho hybrid, tài liệu của họ nói k quanh 60

Retrieval không nhất thiết trả về một danh sách duy nhất

  • • Nó có thể sinh ra nhiều ranked list rồi hợp nhất chúng lại
  • • Multi-query và multi-index cũng dùng đúng cơ chế fusion này
  • • Tài liệu đứng cao ở nhiều list sẽ được đẩy lên sau khi hợp nhất