Ba cơ chế biến semantic judgement thành một con số

Ba cơ chế biến semantic judgement thành một con số A data-flow diagram generated by Archify. 01 / Tiêu chí 02 / Cách hỏi judge 03 / Judge trả về 04 / Tổng hợp 05 / Score Metric mặc định · faithfulness, recall · 01 / Tiêu chí · QAG Metric mặc định faithfulness, recall QAG Câu hỏi nguyên tử · claim này có được support · 02 / Cách hỏi judge Câu hỏi nguyên tử claim này có được support YES hoặc NO · không tự nghĩ ra điểm · 03 / Judge trả về YES hoặc NO không tự nghĩ ra điểm Đếm tỉ lệ · công thức trong code · 04 / Tổng hợp Đếm tỉ lệ công thức trong code 2 trên 3 · diễn giải được từng verdict · 05 / Score 2 trên 3 diễn giải được từng verdict Tiêu chí tự do · tone, completeness · 01 / Tiêu chí · G-Eval Tiêu chí tự do tone, completeness G-Eval evaluation_steps · viết sẵn thì ổn định hơn · 02 / Cách hỏi judge evaluation_steps viết sẵn thì ổn định hơn Điểm theo rubric · thang 0 đến 10 · 03 / Judge trả về Điểm theo rubric thang 0 đến 10 Chuẩn hoá về 0 tới 1 · có thể dùng log probability · 04 / Tổng hợp Chuẩn hoá về 0 tới 1 có thể dùng log probability 0.82 · trung bình có trọng số · 05 / Score 0.82 trung bình có trọng số Rule có cấu trúc · vi phạm là fail ngay · 01 / Tiêu chí · DAG Rule có cấu trúc vi phạm là fail ngay DAG Cây quyết định · từng nhánh một câu hỏi · 02 / Cách hỏi judge Cây quyết định từng nhánh một câu hỏi Rẽ nhánh · vẫn do LLM phán đoán · 03 / Judge trả về Rẽ nhánh vẫn do LLM phán đoán Verdict chia 10 · mapping do tác giả định · 04 / Tổng hợp Verdict chia 10 mapping do tác giả định 0.4 · score mapping kiểm soát được · 05 / Score 0.4 score mapping kiểm soát được phân rã tiêu chí hỏi từng câu gom verdict ra score sinh các bước dựng judge prompt lấy raw score ra score dựng cây hỏi tại nút tới nút lá ra score Legend primary data data store data flow

QAG giới hạn không gian quyết định của judge

  • • Judge chỉ trả lời những câu hỏi hẹp kiểu có hoặc không
  • • Việc biến verdict thành số là do code làm, không phải LLM
  • • Nhờ vậy score dễ diễn giải hơn một con số tổng thể

G-Eval dành cho tiêu chí custom và chủ quan

  • • Từ criteria có thể sinh ra evaluation_steps, hoặc viết sẵn cho ổn định
  • • Rubric mô tả từng khoảng điểm nghĩa là gì
  • • Khi model cung cấp log probability, điểm được lấy trung bình có trọng số

DAG kiểm soát cấu trúc quyết định, không loại bỏ bất định

  • • Nhánh vi phạm rule cho điểm 0 bất kể phần còn lại tốt thế nào
  • • Score mapping từ verdict rõ ràng hơn G-Eval
  • • Nhưng câu hỏi tại mỗi nhánh vẫn do một model xác suất trả lời