Kiến trúc một benchmark so sánh hai phiên bản RAG

Kiến trúc một benchmark so sánh hai phiên bản RAG A data-flow diagram generated by Archify. 01 / Dataset 02 / Hai phiên bản 03 / Test case 04 / Per-case score 05 / Kết luận Golden dataset · giữ nguyên giữa A và B · 01 / Dataset Golden dataset giữ nguyên giữa A và B RAG A · cấu hình hiện tại · 02 / Hai phiên bản RAG A cấu hình hiện tại Test cases A · output lúc chạy của A · 03 / Test case Test cases A output lúc chạy của A Scores A · điểm từng case của A · 04 / Per-case score Scores A điểm từng case của A So sánh và kết luận · regression và cải thiện · 05 / Kết luận So sánh và kết luận regression và cải thiện RAG B · chỉ đổi một biến · 02 / Hai phiên bản RAG B chỉ đổi một biến Test cases B · output lúc chạy của B · 03 / Test case Test cases B output lúc chạy của B Scores B · cùng metric, cùng judge · 04 / Per-case score Scores B cùng metric, cùng judge cùng bộ query thu retrieval và answer chạy metric đưa vào so sánh vẫn bộ query đó thu retrieval và answer chạy metric ghép cặp theo case Legend primary data data store data flow

Dataset phải giữ nguyên giữa các phiên bản

  • • Nếu A chạy trên tập này còn B chạy trên tập khác thì so sánh không còn sạch
  • • Cùng golden nghĩa là mỗi case có một cặp điểm để đối chiếu trực tiếp
  • • Đó là điều kiện để nói được B cải thiện query nào và làm hỏng query nào

Evaluator cũng phải cố định

  • • Cùng metric configuration, cùng threshold, cùng evaluation steps
  • • Cùng judge model và nếu được thì cùng phiên bản DeepEval
  • • Đổi judge giữa A và B là đổi luôn thiết bị đo giữa hai thí nghiệm

Đầu ra không dừng ở một con số

  • • Aggregate cho biết xu hướng chung
  • • Failure analysis cho biết lỗi nào biến mất và lỗi mới nào xuất hiện
  • • Chính phần sau mới dẫn tới quyết định kỹ thuật