Offline benchmark và online evaluation không dùng cùng một metric set Diagram

Offline có label nên dùng được mọi thứ

• Ba metric retrieval, hai metric generation và metric custom theo domain
• Đây là nơi so sánh hai phiên bản RAG một cách sạch sẽ
• Nó chạy theo mốc phát hành chứ không chạy liên tục

Production hầu như không có expected_output

• Trace chỉ có query, retrieval_context và actual_output
• Vì vậy Contextual Recall và Precision không chạy đủ cấu hình
• RAG Triad là bộ metric phù hợp với dữ liệu đang có

Không cần chờ đủ mười nghìn golden mới bắt đầu

• Có thể bắt đầu bằng RAG Triad trên trace lịch sử
• Rồi chọn một subset cho người gán nhãn
• Từ đó dựng dần bộ benchmark reference-based