BM25 cộng ba tín hiệu chứ không đếm keyword

BM25 cộng ba tín hiệu chứ không đếm keyword An architecture diagram generated by Archify. Một cặp query và document · postgres authentication · Architecture component Một cặp query và document postgres authentication IDF · term này hiếm tới mức nào · Architecture component IDF term này hiếm tới mức nào Sức phân biệt · mã lỗi mạnh hơn chữ database · Architecture component · độ hiếm Sức phân biệt mã lỗi mạnh hơn chữ database độ hiếm Term frequency · xuất hiện bao nhiêu lần · Architecture component Term frequency xuất hiện bao nhiêu lần Bão hoà theo k1 · mười lần không mạnh gấp mười · Architecture component · tần suất Bão hoà theo k1 mười lần không mạnh gấp mười tần suất Độ dài document · so với độ dài trung bình · Architecture component Độ dài document so với độ dài trung bình Chuẩn hoá theo b · khớp trong đoạn ngắn đáng tin hơn · Architecture component · độ dài Chuẩn hoá theo b khớp trong đoạn ngắn đáng tin hơn độ dài hỏi về corpus hỏi về document hỏi về độ dài trọng số của term đóng góp có trần phạt document dài Legend Frontend Backend Database Cloud Message bus

Ba câu hỏi rất người mà công thức đang trả lời

  • • Term này có hiếm trong corpus không, hiếm thì đáng tin hơn
  • • Nó xuất hiện mấy lần trong document này
  • • Document này dài hay ngắn so với mặt bằng chung

Bão hoà tần suất là chi tiết dễ bị bỏ qua

  • • Đóng góp tăng nhanh ở vài lần đầu rồi dần chạm trần
  • • Nhờ vậy một trang nhồi keyword không tự động thắng
  • • Lucene và Elasticsearch mặc định k1 bằng 1.2 và b bằng 0.75

Chỗ BM25 vẫn yếu

  • • change my database login secret và rotating PostgreSQL credentials
  • • Con người thấy hai câu gần nghĩa nhưng mặt chữ gần như không giao nhau
  • • Đây là vocabulary mismatch, và là lý do dense retrieval tồn tại