Benchmark chỉ có nghĩa khi nó là một thí nghiệm có kiểm soát

Benchmark chỉ có nghĩa khi nó là một thí nghiệm có kiểm soát A workflow diagram generated by Archify. 01 / Thí nghiệm có kiểm soát EX / Cách làm mất kiểm soát Cùng goldens · dataset không đổi · Thí nghiệm có kiểm soát Cùng goldens dataset không đổi Đổi đúng một biến · top-k, prompt hoặc model · Thí nghiệm có kiểm soát Đổi đúng một biến top-k, prompt hoặc model Chạy A và B · sinh test case riêng · Thí nghiệm có kiểm soát Chạy A và B sinh test case riêng Cùng judge · cùng metric, cùng ngưỡng · Thí nghiệm có kiểm soát Cùng judge cùng metric, cùng ngưỡng Kết luận có căn cứ · biết vì sao khác nhau · Thí nghiệm có kiểm soát Kết luận có căn cứ biết vì sao khác nhau Đổi sáu thứ một lúc · B tốt hơn, không rõ vì sao · Cách làm mất kiểm soát Đổi sáu thứ một lúc B tốt hơn, không rõ vì sao Đổi judge giữa chừng · đổi luôn thiết bị đo · Cách làm mất kiểm soát Đổi judge giữa chừng đổi luôn thiết bị đo hỏng ở đây hỏng ở đây cố định hai cấu hình cùng thước đọc kết quả Legend Agent logic Policy Tool action Context / trace Cloud service External system

Trước khi viết code, xác định unit of comparison

  • • Embedding, chunk size, top-k, reranker, prompt và model là những biến khác nhau
  • • Đổi cả sáu cùng lúc thì benchmark chỉ nói B tốt hơn A
  • • Nó không nói được vì sao, nên cũng không hướng dẫn được bước tiếp theo

Hyperparameter nên được version như code

  • • Phần retriever gồm embedding model, chunk size, overlap, top-k và reranker
  • • Phần generator gồm model, prompt version và tham số sampling
  • • Phần evaluation gồm phiên bản DeepEval, judge model và threshold

Muốn tách hẳn hai thành phần thì đóng băng thành phần kia

  • • Đánh giá retriever thì tập trung vào ba metric retrieval
  • • Đánh giá generator thì giữ nguyên retrieval context rồi đổi prompt hoặc model
  • • Cách này loại bớt biến gây nhiễu giữa hai thí nghiệm