Mỗi chặng retrieval cần một thước đo riêng

Mỗi chặng retrieval cần một thước đo riêng An architecture diagram generated by Archify. Query có nhãn liên quan · biết trước tài liệu nào đúng · Architecture component Query có nhãn liên quan biết trước tài liệu nào đúng Chặng tìm ứng viên · evidence có sống sót không · Architecture component Chặng tìm ứng viên evidence có sống sót không Recall@K · có bỏ sót bằng chứng nào không · Architecture component · đo độ phủ Recall@K có bỏ sót bằng chứng nào không đo độ phủ Chặng xếp hạng · thứ tự có hợp lý không · Architecture component Chặng xếp hạng thứ tự có hợp lý không NDCG@K và MRR · thứ quan trọng có nằm trên không · Architecture component · đo thứ tự NDCG@K và MRR thứ quan trọng có nằm trên không đo thứ tự Tập evidence cuối · context có sạch không · Architecture component Tập evidence cuối context có sạch không Precision@K · trong K kết quả, bao nhiêu đáng giữ · Architecture component · đo độ sạch Precision@K trong K kết quả, bao nhiêu đáng giữ đo độ sạch đo chặng một đo chặng hai đo đầu ra câu hỏi độ phủ câu hỏi thứ tự câu hỏi độ sạch Legend Frontend Backend Database Cloud Message bus

Precision và recall là hai góc nhìn bổ sung cho nhau

  • • Recall hỏi trong evidence đáng lẽ phải tìm, tìm được bao nhiêu
  • • Precision hỏi trong những gì đã trả về, bao nhiêu phần thật sự liên quan
  • • Tăng K thì recall không giảm, còn precision hay giảm

NDCG hợp khi mức liên quan không chỉ có hai giá trị

  • • Trả lời thẳng, hữu ích, hơi liên quan, không liên quan
  • • NDCG thưởng cho việc đặt mức cao lên hạng cao và chiết khấu các hạng dưới
  • • Đây là metric hữu ích nhất khi đánh giá riêng phần reranker

Đừng chỉ nhìn con số trung bình

  • • Recall 0.86 và 0.87 chưa đủ để kết luận cấu hình nào tốt hơn
  • • Một thay đổi có thể cứu 50 query dễ và phá 10 query mã định danh
  • • Chia slice theo paraphrase, định danh, version, hội thoại