Đọc quality vector để ra giả thuyết, không để metric tự sửa hệ thống Diagram

Từng cặp metric chỉ về một chỗ khác nhau trong hệ thống

• Recall cao mà Precision thấp thì candidate tốt nhưng ranking kém
• Recall cao mà Relevancy thấp thì top-k hoặc chunking kéo quá nhiều noise
• Retrieval tốt mà Faithfulness thấp thì vấn đề nằm ở generator

Một pattern rất dễ đánh lừa

• Answer Relevancy cao trong khi Faithfulness thấp
• Câu trả lời nghe đúng chủ đề nhưng evidence không hỗ trợ
• Đây là kiểu hallucination mà người dùng khó phát hiện nhất

Metric không tự sửa hệ thống

• Nó chỉ giúp tạo ra một giả thuyết chẩn đoán tốt hơn
• Nếu reference metric tốt mà correctness theo domain vẫn thấp
• Thì yêu cầu nghiệp vụ chưa được metric generic phản ánh