RAG và fine-tuning sửa hai thứ khác nhau

RAG và fine-tuning sửa hai thứ khác nhau An architecture diagram generated by Archify. Model đang thiếu gì · câu hỏi đặt trước khi chọn · Architecture component Model đang thiếu gì câu hỏi đặt trước khi chọn Thiếu tri thức · riêng tư, mới, hay thay đổi · Architecture component Thiếu tri thức riêng tư, mới, hay thay đổi RAG · đổi thông tin lúc inference · Architecture component · sửa ở index RAG đổi thông tin lúc inference sửa ở index Thiếu hành vi · văn phong, format, task · Architecture component Thiếu hành vi văn phong, format, task Fine-tuning · đổi chính tham số model · Architecture component · sửa ở weights Fine-tuning đổi chính tham số model sửa ở weights Thiếu cả hai · tri thức lẫn hành vi · Architecture component Thiếu cả hai tri thức lẫn hành vi Fine-tuning + RAG · không loại trừ nhau · Architecture component Fine-tuning + RAG không loại trừ nhau tri thức ngoài model hành vi chưa đúng cả hai cùng thiếu re-index là đủ phải train lại dùng chung một hệ Legend Frontend Backend Database Cloud Security Message bus External

Câu hỏi phân loại nằm ở chỗ thiếu, không ở chỗ kỹ thuật

  • • Nếu thiếu tri thức thì thêm tri thức vào lúc chạy là hợp lý
  • • Nếu thiếu hành vi ổn định thì thêm evidence không giải quyết được
  • • Chọn sai trục sẽ tốn rất nhiều công mà chỉ số không nhúc nhích

Bốn nhóm vấn đề RAG thường xử lý tốt

  • • Tri thức nằm ngoài training data như Notion, Confluence, runbook
  • • Tri thức thay đổi theo thời gian, cập nhật xong chỉ cần re-index
  • • Grounding cho câu trả lời và provenance để trích dẫn được nguồn

Không phải hai lựa chọn loại trừ nhau

  • • Fine-tune để model biết tuân thủ format và bám evidence
  • • RAG để model biết đúng nội dung tại thời điểm câu hỏi được hỏi
  • • Hệ production lớn thường dùng cả hai ở hai tầng khác nhau