Chunk phải đứng vững được khi tách khỏi tài liệu gốc

Chunk phải đứng vững được khi tách khỏi tài liệu gốc A workflow diagram generated by Archify. 01 / Chunk như một đơn vị retrieval EX / Hai đầu của trade-off Document · handbook 200 trang · Chunk như một đơn vị retrieval Document handbook 200 trang Chunker · theo cấu trúc hoặc token · Chunk như một đơn vị retrieval Chunker theo cấu trúc hoặc token Chunk · đơn vị được embed · Chunk như một đơn vị retrieval Chunk đơn vị được embed Chunk có context · gắn thêm vài dòng gốc · Chunk như một đơn vị retrieval Chunk có context gắn thêm vài dòng gốc Retrieve đúng đoạn · precise mà vẫn đủ nghĩa · Chunk như một đơn vị retrieval Retrieve đúng đoạn precise mà vẫn đủ nghĩa Chunk quá nhỏ · mất chủ ngữ và mốc · Hai đầu của trade-off Chunk quá nhỏ mất chủ ngữ và mốc Chunk quá lớn · trộn nhiều chủ đề · Hai đầu của trade-off Chunk quá lớn trộn nhiều chủ đề Context tốn token · LLM phải đọc nhiễu · Hai đầu của trade-off Context tốn token LLM phải đọc nhiễu cắt quá tay cắt quá thô hệ quả cắt nhỏ sinh unit bổ sung embed, BM25 Legend Agent logic Policy Tool action Context / trace Cloud service External system

Chunk nhỏ và chunk lớn hỏng theo hai kiểu ngược nhau

  • • Doanh thu tăng 18% mà không biết công ty nào, quý nào là chunk quá nhỏ
  • • Một chunk 3000 token chứa câu trả lời nhưng embedding pha trộn nhiều topic
  • • Không có kích thước đúng phổ quát, chỉ có cân bằng theo loại tài liệu

Contextual Retrieval xử lý đúng chỗ đau này

  • • Anthropic mô tả cách gắn context ngắn vào chunk trước khi embed
  • • Doanh thu tăng 3% so với quý trước trở thành báo cáo Q2 2023 của ACME
  • • Cùng một context đó cũng được đưa vào biểu diễn BM25

Phép thử đơn giản trước khi chọn chiến lược chunk

  • • Đọc riêng một chunk mà không nhìn tài liệu gốc
  • • Nếu không hiểu nó nói về ai, cái gì, thời điểm nào thì retrieval cũng vậy
  • • Đơn vị tối ưu cho search chưa chắc là đơn vị tối ưu để LLM đọc