Điểm tổng che mất nhóm câu hỏi đang hỏng

Điểm tổng che mất nhóm câu hỏi đang hỏng A data-flow diagram generated by Archify. 01 / Dataset 02 / Điểm tổng 03 / Tách nhóm 04 / Từng nhóm 05 / Kết luận Dataset có edge case · chia sẵn theo category · 01 / Dataset Dataset có edge case chia sẵn theo category Faithfulness 0.91 · trung bình toàn bộ · 02 / Điểm tổng Faithfulness 0.91 trung bình toàn bộ Chia theo category · cùng metric, khác nhóm · 03 / Tách nhóm Chia theo category cùng metric, khác nhóm factual_simple 0.98 · tra cứu trực tiếp · 04 / Từng nhóm factual_simple 0.98 tra cứu trực tiếp Phần dễ vốn đã ổn · không phải chỗ cần sửa · 05 / Kết luận Phần dễ vốn đã ổn không phải chỗ cần sửa no_answer 0.62 · KB không có thông tin · 04 / Từng nhóm no_answer 0.62 KB không có thông tin Chỗ đáng sửa trước · generator không biết từ chối · 05 / Kết luận Chỗ đáng sửa trước generator không biết từ chối chạy benchmark nhìn kỹ hơn nhóm dễ không đáng lo nhóm khó ưu tiên xử lý Legend primary data data store data flow

Dataset nên phủ nhiều failure mode, không chỉ hai mươi câu dễ

  • • Direct lookup, paraphrase, multi-fact và multi-hop
  • • Ambiguous query, long-tail entity và tài liệu mâu thuẫn version
  • • Negative query, khi câu trả lời đúng là nói rằng không có thông tin

Chia category để failure analysis có chỗ bám

  • • Điểm tổng 0.91 không nói nhóm nào đang kéo chất lượng xuống
  • • Cùng metric tách theo nhóm mới lộ ra chỗ hỏng thật sự
  • • Một cải tiến chỉ thêm 1% tổng thể nhưng thêm 20% ở nhóm no_answer là rất đáng

expected_output nên viết như danh sách yêu cầu

  • • Không cần một đoạn văn tự nhiên và dài
  • • Nó cần liệt kê các fact mà câu trả lời lý tưởng phải chứa
  • • Recall và Precision dùng chính reference này để phán đoán retrieval