Evaluation dataset là bộ nhớ của những lỗi mà team đã học được

Evaluation dataset là bộ nhớ của những lỗi mà team đã học được A workflow diagram generated by Archify. 01 / Từ production quay về dataset EX / Nếu bỏ qua bước này Production · traffic thật đang chạy · Từ production quay về dataset Production traffic thật đang chạy Lỗi đáng chú ý · score thấp hoặc user báo · Từ production quay về dataset Lỗi đáng chú ý score thấp hoặc user báo Human review · đọc reason và chunk · Từ production quay về dataset Human review đọc reason và chunk Regression case · golden mới có nhãn · Từ production quay về dataset Regression case golden mới có nhãn Dataset lớn dần · bản sau phải vượt qua · Từ production quay về dataset Dataset lớn dần bản sau phải vượt qua Không ghi lại · lỗi cũ sẽ quay lại · Nếu bỏ qua bước này Không ghi lại lỗi cũ sẽ quay lại Dataset đứng yên · chỉ còn đo happy path · Nếu bỏ qua bước này Dataset đứng yên chỉ còn đo happy path nếu bỏ qua nếu bỏ qua phát hiện phân loại viết reference thêm vào Legend Agent logic Policy Context / trace Cloud service External system

Evaluation không phải một bước ở cuối dự án

  • • Nó là một feedback loop của quá trình phát triển RAG
  • • Dataset tốt không bao giờ xong, nó lớn lên theo từng incident
  • • Mỗi lỗi production đáng chú ý nên có cơ hội thành một regression case

Log cả reason chứ không chỉ log score

  • • Metric dựa trên LLM có thể nêu claim nào không được support
  • • Reason không phải chân lý tuyệt đối, nhưng rất hữu ích để gom nhóm lỗi
  • • Từ reason đi tiếp vào retrieved chunk rồi mới kết luận nguyên nhân gốc

Một benchmark đáng tin cần nhiều thứ cùng lúc

  • • Dataset tốt, thiết kế thí nghiệm tốt và judge được kiểm soát
  • • Threshold được calibrate, có failure analysis và kỷ luật regression
  • • Thiếu một mảnh thì con số vẫn nên được xem một cách thận trọng