Tìm rộng rồi chấm kỹ là hai bài toán, không phải một

Tìm rộng rồi chấm kỹ là hai bài toán, không phải một A workflow diagram generated by Archify. 01 / Hai chặng, hai mục tiêu EX / Cái giá đi kèm Hàng triệu chunk · toàn bộ index · Hai chặng, hai mục tiêu Hàng triệu chunk toàn bộ index Retriever · tối ưu recall và tốc độ · Hai chặng, hai mục tiêu Retriever tối ưu recall và tốc độ Top 30 đến 50 · candidate set · Hai chặng, hai mục tiêu Top 30 đến 50 candidate set Reranker · đọc query và passage cùng nhau · Hai chặng, hai mục tiêu Reranker đọc query và passage cùng nhau Top 5 đến 10 · evidence vào prompt · Hai chặng, hai mục tiêu Top 5 đến 10 evidence vào prompt Recall thiếu · rerank không cứu được · Cái giá đi kèm Recall thiếu rerank không cứu được Rerank tốn kém · chi phí tăng theo candidate · Cái giá đi kèm Rerank tốn kém chi phí tăng theo candidate Top-k quá lớn · evidence chìm giữa context · Cái giá đi kèm Top-k quá lớn evidence chìm giữa context nếu sót cái giá nếu tham quét nhanh lấy rộng chấm kỹ chọn hẹp Legend User UI Agent logic Policy Tool action Context / trace Cloud service

Retriever và reranker trả lời hai câu hỏi khác nhau

  • • Retriever hỏi chunk nào có khả năng liên quan, và phải trả lời thật nhanh
  • • Reranker hỏi trong tập này chunk nào thật sự liên quan nhất tới query
  • • Reranker chỉ chọn lại trong những gì retriever đã đưa cho nó

Nhiều context hơn không đồng nghĩa với câu trả lời tốt hơn

  • • Thêm evidence cũng là thêm nội dung lạc đề, thêm mâu thuẫn, thêm token
  • • Lost in the Middle cho thấy model dùng long context không đều theo vị trí
  • • Thông tin nằm giữa một context dài có thể bị bỏ lỡ dù nó có mặt ở đó

Mục tiêu của retrieval được phát biểu lại

  • • Không phải đưa thật nhiều thứ vào context
  • • Mà là đưa đúng evidence, đủ context, theo cấu trúc model dùng được
  • • Chính chỗ này là nơi context engineering bắt đầu