ANN đổi một phần recall lấy tốc độ, nên nó là nguồn lỗi độc lập với embedding

ANN đổi một phần recall lấy tốc độ, nên nó là nguồn lỗi độc lập với embedding A workflow diagram generated by Archify. 01 / Đường đi của một lần tìm láng giềng EX / Cái giá của việc không quét hết Query vector · một điểm cần tìm quanh · Đường đi của một lần tìm láng giềng Query vector một điểm cần tìm quanh Layer thưa trên cùng · ít node, bước nhảy dài · Đường đi của một lần tìm láng giềng Layer thưa trên cùng ít node, bước nhảy dài Đi xuống layer dưới · vào vùng có triển vọng · Đường đi của một lần tìm láng giềng Đi xuống layer dưới vào vùng có triển vọng Tinh chỉnh cục bộ · duyệt láng giềng gần · Đường đi của một lần tìm láng giềng Tinh chỉnh cục bộ duyệt láng giềng gần Top-k gần đúng · đủ tốt, không đảm bảo đúng · Đường đi của một lần tìm láng giềng Top-k gần đúng đủ tốt, không đảm bảo đúng Bỏ qua phần lớn vector · đó chính là chỗ tiết kiệm · Cái giá của việc không quét hết Bỏ qua phần lớn vector đó chính là chỗ tiết kiệm Tham số điều hướng · đổi recall lấy độ trễ · Cái giá của việc không quét hết Tham số điều hướng đổi recall lấy độ trễ Có thể miss láng giềng · dù embedding hoàn toàn tốt · Cái giá của việc không quét hết Có thể miss láng giềng dù embedding hoàn toàn tốt đánh đổi chỗ chỉnh rủi ro vào index đi xa đi sâu trả về Legend User UI Agent logic Policy Tool action Cloud service External system

Exact KNN và ANN trả lời hai câu hỏi khác nhau

  • • Exact so query với mọi vector rồi mới sắp xếp, chi phí tăng theo kích thước corpus
  • • ANN chỉ hứa tìm được một tập đủ gần với độ trễ thấp hơn nhiều
  • • Ở corpus nhỏ, quét hết vẫn là lựa chọn hợp lý và cho recall tối đa

Chất lượng embedding không đồng nghĩa với chất lượng ANN

  • • Một embedding model rất tốt vẫn có thể mất candidate vì cấu hình index
  • • Chi phí build, bộ nhớ, độ trễ truy vấn và recall là bốn núm xoay liên quan nhau
  • • Vì vậy benchmark retrieval phải ghi lại cả tham số ANN chứ không chỉ tên model

Mental model của HNSW

  • • Layer trên thưa để di chuyển nhanh qua không gian
  • • Layer dưới dày để tinh chỉnh vùng láng giềng
  • • Vào từ trên, hướng dần về vùng có triển vọng, rồi mới tìm kỹ tại chỗ