Inverted index đảo quan hệ giữa document và term

Inverted index đảo quan hệ giữa document và term A data-flow diagram generated by Archify. 01 / Văn bản 02 / Analyzer 03 / Từ điển term 04 / Posting list 05 / Ứng viên Chunk văn bản · postgres password reset · 01 / Văn bản Chunk văn bản postgres password reset Analyzer · tách token và chuẩn hoá · 02 / Analyzer Analyzer tách token và chuẩn hoá Từ điển term · mỗi term xuất hiện một lần · 03 / Từ điển term Từ điển term mỗi term xuất hiện một lần Posting list · term trỏ tới các document · 04 / Posting list Posting list term trỏ tới các document Tập ứng viên · chỉ document có chứa term · 05 / Ứng viên Tập ứng viên chỉ document có chứa term Tokenizer quyết định · mã lỗi còn nguyên hay bị cắt · 02 / Analyzer Tokenizer quyết định mã lỗi còn nguyên hay bị cắt Term hiếm · hiếm thì mang nhiều tín hiệu · 03 / Từ điển term Term hiếm hiếm thì mang nhiều tín hiệu Kèm thống kê · tần suất, vị trí, độ dài field · 04 / Posting list Kèm thống kê tần suất, vị trí, độ dài field Chưa có thứ hạng · biết có chứa, chưa biết ai hơn · 05 / Ứng viên Chưa có thứ hạng biết có chứa, chưa biết ai hơn đưa vào index sinh term đảo quan hệ tra theo term chỗ dễ hỏng chỗ có tín hiệu còn lưu thêm còn thiếu Legend primary data data store data flow

Vì sao lexical search nhanh trên corpus rất lớn

  • • Search engine không duyệt từng document để so khớp chuỗi
  • • Nó đi từ term sang posting list rồi mới ra tập ứng viên
  • • Chi phí gắn với số document chứa term chứ không phải kích thước corpus

Analyzer là chỗ định danh chính xác dễ biến mất nhất

  • • Chữ hoa chữ thường, dấu gạch dưới, dấu chấm và số hiệu version
  • • Một tokenizer cắt vụn mã lỗi thành các mảnh rời là đã đổi bài toán
  • • Khi mã lỗi bị miss, hãy soi analyzer trước khi đổi embedding model

Có ứng viên chưa phải là có thứ hạng

  • • Posting list chỉ trả lời document nào có chứa term
  • • Câu hỏi document nào nên đứng trên là một bài toán khác
  • • Đó chính là chỗ hàm xếp hạng BM25 bước vào