Một chunk sinh ra ba biểu diễn phục vụ ba loại câu hỏi

Một chunk sinh ra ba biểu diễn phục vụ ba loại câu hỏi An architecture diagram generated by Archify. Một chunk · content kèm metadata · Architecture component Một chunk content kèm metadata Text field · giữ nguyên từng token · Architecture component Text field giữ nguyên từng token Inverted index · mã lỗi, tên riêng, version · Architecture component · khớp chữ Inverted index mã lỗi, tên riêng, version khớp chữ Dense vector · ý nghĩa của đoạn văn · Architecture component Dense vector ý nghĩa của đoạn văn ANN index · láng giềng gần trong không gian · Architecture component · khớp nghĩa ANN index láng giềng gần trong không gian khớp nghĩa Metadata fields · tenant, version, ACL · Architecture component Metadata fields tenant, version, ACL Filter index · ràng buộc cứng và quyền đọc · Architecture component · khớp điều kiện Filter index ràng buộc cứng và quyền đọc khớp điều kiện giữ nguyên văn qua embedding model tách khỏi nội dung đảo ngược theo term so theo similarity lọc trước khi xếp hạng Legend Frontend Backend Database Cloud Security Message bus External

Knowledge index không đồng nghĩa với vector database

  • • Dense index trả lời câu hỏi về ý nghĩa gần nhau
  • • Sparse index trả lời câu hỏi về token hiếm và định danh chính xác
  • • Metadata trả lời câu hỏi về ràng buộc mà similarity không nên đụng tới

Có những thứ embedding không phải biểu diễn tốt nhất

  • • ERR_CONNECTION_4821, tên class, endpoint API, số hiệu điều khoản
  • • BM25 được thiết kế để tận dụng đúng độ hiếm của term
  • • Đó là lý do hybrid tồn tại chứ không phải vì dense chưa đủ tốt

Metadata vừa là relevance vừa là security primitive

  • • department và updated_at giúp thu hẹp không gian tìm kiếm
  • • tenant_id và access_groups quyết định người dùng được thấy gì
  • • Lọc quyền ở tầng UI sau retrieval là quá muộn, LLM đã đọc rồi