RAG không thêm kiến thức vào weights, nó thêm thông tin vào context

RAG không thêm kiến thức vào weights, nó thêm thông tin vào context A workflow diagram generated by Archify. 01 / Có kênh tri thức bên ngoài EX / Chỉ dựa vào parametric memory Câu hỏi · đến lúc inference · Có kênh tri thức bên ngoài Câu hỏi đến lúc inference Tri thức ngoài · non-parametric · Có kênh tri thức bên ngoài Tri thức ngoài non-parametric Evidence · tìm được lúc chạy · Có kênh tri thức bên ngoài Evidence tìm được lúc chạy LLM · weights không đổi · Có kênh tri thức bên ngoài LLM weights không đổi Answer có căn cứ · kèm trích dẫn · Có kênh tri thức bên ngoài Answer có căn cứ kèm trích dẫn Chỉ có weights · thiếu tài liệu riêng · Chỉ dựa vào parametric memory Chỉ có weights thiếu tài liệu riêng Kiến thức đóng băng · sửa DB, weights cũ · Chỉ dựa vào parametric memory Kiến thức đóng băng sửa DB, weights cũ Không rõ nguồn · fact đến từ đâu · Chỉ dựa vào parametric memory Không rõ nguồn fact đến từ đâu bỏ retrieval hệ quả hệ quả truy xuất lấy evidence vào context sinh answer Legend Agent logic Policy Tool action Context / trace Cloud service External system

Hai loại trí nhớ hoàn toàn khác nhau

  • • Parametric memory nằm trong tham số, hình thành lúc pretrain
  • • Non-parametric memory nằm ngoài model và truy xuất được lúc chạy
  • • Paper RAG năm 2020 đặt vấn đề đúng theo hướng kết hợp hai loại này

Vì sao chỉ dựa vào weights là chưa đủ

  • • Tài liệu nội bộ gần như chắc chắn không nằm trong training data
  • • Cập nhật một dòng trong database không cập nhật kiến thức trong model
  • • Ngay cả fact model từng thấy cũng không truy xuất chuẩn như database lookup

RAG không phải lúc nào cũng là đáp án

  • • Cần tri thức mới, riêng tư hoặc hay thay đổi thì RAG hợp lý
  • • Cần đổi phong cách, format hay hành vi ổn định thì fine-tuning hợp hơn
  • • Hai kỹ thuật không loại trừ nhau và thường được dùng cùng nhau