Câu trả lời sai là triệu chứng, đi xuôi bốn câu hỏi để tìm tầng đang hỏng

Câu trả lời sai là triệu chứng, đi xuôi bốn câu hỏi để tìm tầng đang hỏng A workflow diagram generated by Archify. 01 / Bốn câu hỏi theo đúng thứ tự pipeline 02 / Tầng đang hỏng Câu trả lời sai · mới là triệu chứng · Bốn câu hỏi theo đúng thứ tự pipeline Câu trả lời sai mới là triệu chứng Evidence có lọt? · recall và thứ hạng · Bốn câu hỏi theo đúng thứ tự pipeline Evidence có lọt? recall và thứ hạng Context đủ không? · cắt, trùng, xếp sai · Bốn câu hỏi theo đúng thứ tự pipeline Context đủ không? cắt, trùng, xếp sai Có bám evidence? · bịa thêm hay bỏ qua · Bốn câu hỏi theo đúng thứ tự pipeline Có bám evidence? bịa thêm hay bỏ qua Index khớp nguồn? · đúng index, sai thực tế · Bốn câu hỏi theo đúng thứ tự pipeline Index khớp nguồn? đúng index, sai thực tế Lỗi retrieval · rewrite, filter, top-k · Tầng đang hỏng Lỗi retrieval rewrite, filter, top-k Lỗi generation · prompt và hành vi sinh · Tầng đang hỏng Lỗi generation prompt và hành vi sinh nếu không lọt nếu không bám từ chặng sớm nhất nếu đã lọt nếu còn nguyên nếu bám đúng Legend Agent logic Policy Tool action Context / trace Cloud service External system

Thứ tự kiểm tra không tùy tiện

  • • Không tầng nào sửa được lỗi của tầng đứng trước nó
  • • Retrieval sai thì reranker và LLM giỏi đến đâu cũng không cứu được
  • • Vì vậy luôn đi từ chặng sớm nhất xuống chặng muộn nhất

Reranking là chỗ dễ bỏ sót

  • • Tài liệu đúng có trong candidate set ở hạng 11 trước khi rerank
  • • Sau rerank nó rơi xuống hạng 32 và không vào context
  • • Trace cần so được thứ hạng trước và sau rerank thì mới thấy

Lỗi dữ liệu nằm ngoài ứng dụng

  • • Nguồn cập nhật lúc 14 giờ, index vẫn còn bản cũ lúc 17 giờ
  • • Ứng dụng hoàn toàn đúng so với index nhưng index sai so với thế giới thật
  • • Đây là lỗi freshness và phải sửa ở pipeline nạp dữ liệu