Từ dữ liệu thô đến knowledge index

Từ dữ liệu thô đến knowledge index A data-flow diagram generated by Archify. 01 / Nguồn 02 / Parsing 03 / Chuẩn hoá 04 / Chunk + metadata 05 / Index Sources · PDF, wiki, DB, API · 01 / Nguồn Sources PDF, wiki, DB, API Parsing · giữ heading và bảng · 02 / Parsing Parsing giữ heading và bảng Cleaning · bỏ boilerplate lặp lại · 03 / Chuẩn hoá Cleaning bỏ boilerplate lặp lại Chunk + metadata · kèm nguồn gốc và ACL · 04 / Chunk + metadata Chunk + metadata kèm nguồn gốc và ACL Knowledge index · dense, sparse, filter · 05 / Index Knowledge index dense, sparse, filter Parser làm phẳng · bảng thành chuỗi số · 02 / Parsing Parser làm phẳng bảng thành chuỗi số Clean quá tay · mất luôn cấu trúc · 03 / Chuẩn hoá Clean quá tay mất luôn cấu trúc Chunk mất context · tách ra là vô nghĩa · 04 / Chunk + metadata Chunk mất context tách ra là vô nghĩa Index lệch nguồn · source đổi, index chưa · 05 / Index Index lệch nguồn source đổi, index chưa đọc tài liệu văn bản có cấu trúc cắt thành đơn vị embed và index mất bảng mất heading mất chủ ngữ mất tính mới Legend primary data data store data flow

Parsing không chỉ là trích xuất text

  • • Nó là khôi phục lại cấu trúc ngữ nghĩa của tài liệu
  • • Heading, bảng, caption và thứ bậc mục đều là tín hiệu retrieval
  • • Parser hiện đại như Docling giữ hierarchy và xuất chunk cho RAG

Metadata là thứ không nên nhét hết vào embedding

  • • Vector lo phần liên quan ngữ nghĩa, filter lo phần ràng buộc chính xác
  • • department, version, updated_at, tenant_id, access_groups đều là filter
  • • Bỏ metadata ở khâu này thì citation và ACL ở cuối pipeline không dựng lại được

Indexing là vòng đời, không phải script chạy một lần

  • • Tài liệu được tạo, sửa, xoá, đổi quyền và đổi phiên bản liên tục
  • • Cần incremental index, dedup, xoá chunk cũ và re-embed khi đổi model
  • • Source of truth đã đổi mà index chưa đổi là một failure độc lập với LLM