RAG Triad là ba câu hỏi nối tiếp nhau khi không có ground truth

RAG Triad là ba câu hỏi nối tiếp nhau khi không có ground truth A workflow diagram generated by Archify. 01 / Ba metric referenceless EX / Cần expected_output Contextual Relevancy · context có liên quan query · Ba metric referenceless Contextual Relevancy context có liên quan query Faithfulness · answer có bám context · Ba metric referenceless Faithfulness answer có bám context Answer Relevancy · answer có trả lời query · Ba metric referenceless Answer Relevancy answer có trả lời query Dùng cho production · chỉ cần trace lúc chạy · Ba metric referenceless Dùng cho production chỉ cần trace lúc chạy Contextual Recall · cần câu trả lời chuẩn · Cần expected_output Contextual Recall cần câu trả lời chuẩn Contextual Precision · cần câu trả lời chuẩn · Cần expected_output Contextual Precision cần câu trả lời chuẩn không chạy không chạy rồi hỏi rồi hỏi đủ để đo Legend Agent logic Policy Tool action Context / trace Cloud service

Ba câu hỏi đi liền một mạch

  • • Hệ thống có retrieve đúng thứ liên quan tới câu hỏi chưa
  • • Câu trả lời có bám vào đúng thứ vừa retrieve không
  • • Câu trả lời có thực sự trả lời câu hỏi không

Trong production thường chỉ có ba thứ

  • • query, retrieval_context và actual_output đều có sẵn trong trace
  • • expected_output thì gần như không có với traffic thật
  • • Vì vậy hai metric reference-based không chạy được theo cấu hình đầy đủ

Đây là cấu hình hợp lý cho online evaluation

  • • Không phải phiên bản rút gọn cho tiện, mà vì dữ liệu chỉ có đến đó
  • • Offline benchmark vẫn nên dùng đủ năm metric khi có label
  • • Không nên ép offline và online dùng đúng cùng một metric set