Kiến trúc evaluation cơ bản của DeepEval

Kiến trúc evaluation cơ bản của DeepEval A data-flow diagram generated by Archify. 01 / Test spec 02 / Chạy hệ thống 03 / Đơn vị đánh giá 04 / Metric 05 / Quyết định Golden · input và expected_output · 01 / Test spec · dữ liệu tĩnh Golden input và expected_output dữ liệu tĩnh Chạy RAG · một phiên bản cụ thể · 02 / Chạy hệ thống Chạy RAG một phiên bản cụ thể LLMTestCase · gộp spec và runtime output · 03 / Đơn vị đánh giá LLMTestCase gộp spec và runtime output Evaluation metric · mỗi metric cần field riêng · 04 / Metric Evaluation metric mỗi metric cần field riêng So với threshold · PASS hoặc FAIL · 05 / Quyết định · score từ 0 đến 1 So với threshold PASS hoặc FAIL score từ 0 đến 1 Chưa có output · Golden không phụ thuộc phiên bản · 01 / Test spec Chưa có output Golden không phụ thuộc phiên bản Output lúc chạy · actual_output và retrieval_context · 02 / Chạy hệ thống Output lúc chạy actual_output và retrieval_context Field bắt buộc · thiếu field thì metric không chạy · 03 / Đơn vị đánh giá Field bắt buộc thiếu field thì metric không chạy Judgement hẹp · code tổng hợp thành score · 04 / Metric · không tự nghĩ ra điểm Judgement hẹp code tổng hợp thành score không tự nghĩ ra điểm lấy input đem chạy thu output lúc chạy áp thước đo lên score thành verdict test specification phần động của test case điều kiện đầu vào semantic judgement Legend primary data data store data flow

Ba khái niệm cần phân biệt

  • • Golden là thứ bạn muốn test, chứa input và reference tĩnh
  • • LLMTestCase là đơn vị đánh giá sau khi application đã chạy
  • • Metric là thước đo được áp lên test case đó

Với RAG, hai field quan trọng nhất đến từ lúc chạy

  • • actual_output là câu trả lời hệ thống vừa sinh ra
  • • retrieval_context là những chunk thực sự được đưa vào generation
  • • Chúng phản ánh những gì hệ thống làm trong đúng lần chạy đó

Judge không tự nghĩ ra một con số

  • • Metric phân rã tiêu chí thành những câu hỏi nhỏ
  • • LLM trả lời từng câu hỏi hẹp kiểu có hoặc không
  • • Công thức trong framework mới tổng hợp các verdict thành score