Năm tầng của một kết quả DeepEval, và cách debug ngược từ dưới lên Diagram

Một con số là kết quả của năm tầng chồng lên nhau

• Evidence là dữ liệu thô đưa vào metric
• Judgement là phán đoán ngữ nghĩa hẹp trên từng mảnh evidence
• Scoring, verdict và decision là ba tầng nằm trên đó

Khi score có vấn đề, đi ngược từ tầng thấp nhất

• Sửa threshold trước khi kiểm tra evidence là sửa nhầm chỗ
• Rất nhiều score lạ đến từ retrieval_context không đúng runtime
• Chỉ khi bốn tầng dưới ổn thì decision rule mới đáng bàn

Judge cũng là một thiết bị đo, không phải ground truth

• Nó chịu ảnh hưởng của prompt, rubric, ngôn ngữ và phiên bản model
• Vì vậy kết quả benchmark nên version cả evaluator
• Nếu evaluation setup đã đổi thì so sánh 0.81 với 0.85 không còn ý nghĩa