Hai tầng benchmark, vì evaluation cũng tốn tiền

Hai tầng benchmark, vì evaluation cũng tốn tiền A data-flow diagram generated by Archify. 01 / Chạy khi nào 02 / Bộ test 03 / Metric 04 / Chi phí 05 / Vai trò Mỗi pull request · chạy cùng CI · 01 / Chạy khi nào Mỗi pull request chạy cùng CI 50 critical case · những case đắt nhất khi sai · 02 / Bộ test 50 critical case những case đắt nhất khi sai 3 hard gate · faithfulness và an toàn · 03 / Metric 3 hard gate faithfulness và an toàn Rẻ và nhanh · ít judge call · 04 / Chi phí Rẻ và nhanh ít judge call Chặn regression sớm · giống smoke test · 05 / Vai trò Chặn regression sớm giống smoke test Hàng đêm · và trước mỗi release · 01 / Chạy khi nào Hàng đêm và trước mỗi release 1000 case · đủ mọi category · 02 / Bộ test 1000 case đủ mọi category Full metric set · cả metric chỉ để quan sát · 03 / Metric Full metric set cả metric chỉ để quan sát Đắt hơn nhiều · 1000 nhân 5 lượt chấm · 04 / Chi phí Đắt hơn nhiều 1000 nhân 5 lượt chấm Bức tranh đầy đủ · giống full regression · 05 / Vai trò Bức tranh đầy đủ giống full regression chọn tập nhỏ chỉ gate quan trọng ít lượt gọi judge hợp với CI chạy tập lớn đo đủ chiều nhiều lượt gọi judge chạy ngoài giờ Legend primary data data store data flow

Số lượt chấm nhân lên rất nhanh

  • • 500 test case nhân 5 metric là 2500 lượt đánh giá
  • • Mỗi metric LLM-as-a-Judge có thể cần một hoặc nhiều lượt gọi model
  • • Vì vậy benchmark lớn phải tính cả chi phí, latency, rate limit và cache

Không phải metric nào cũng nên chặn deployment

  • • Faithfulness, an toàn và tuân thủ phù hợp làm hard gate
  • • Tone, style và độ súc tích nên để ở chế độ chỉ theo dõi
  • • Một điểm chủ quan dao động nhẹ không nên làm hỏng cả pipeline phát hành

Cách chia tầng giống hệt software testing

  • • PR suite đóng vai trò smoke test
  • • Nightly suite đóng vai trò full regression
  • • Gate nên phản ánh chi phí của lỗi, không phải metric nào nổi tiếng hơn