Năm metric gắn vào năm chỗ khác nhau của pipeline

Năm metric gắn vào năm chỗ khác nhau của pipeline A data-flow diagram generated by Archify. 01 / Câu hỏi 02 / Retriever 03 / Context 04 / Generator 05 / Câu trả lời Query · câu hỏi người dùng · 01 / Câu hỏi Query câu hỏi người dùng Retriever · tìm và xếp hạng chunk · 02 / Retriever Retriever tìm và xếp hạng chunk retrieval_context · chunk đưa vào prompt · 03 / Context retrieval_context chunk đưa vào prompt Generator · LLM viết câu trả lời · 04 / Generator Generator LLM viết câu trả lời actual_output · câu trả lời cuối · 05 / Câu trả lời actual_output câu trả lời cuối Retrieval metrics · Recall · Precision · Relevancy · 02 / Retriever · hai cái cần expected_output Retrieval metrics Recall · Precision · Relevancy hai cái cần expected_output Generation metrics · Faithfulness · Answer Relevancy · 04 / Generator · referenceless Generation metrics Faithfulness · Answer Relevancy referenceless gửi truy vấn trả về chunk ghép vào prompt sinh câu trả lời đo chặng retrieval đo chặng generation Legend primary data data store data flow

Ba metric cho retriever trả lời ba câu hỏi khác nhau

  • • Recall hỏi có lấy đủ evidence cần thiết không
  • • Precision hỏi relevant chunk có nằm đủ cao trong danh sách không
  • • Relevancy hỏi những gì lấy về có sạch hay đầy noise

Hai metric cho generator tách grounding khỏi trọng tâm

  • • Faithfulness hỏi claim trong câu trả lời có được context hỗ trợ không
  • • Answer Relevancy hỏi câu trả lời có bám đúng câu hỏi không
  • • Một câu trả lời có thể rất relevant nhưng hoàn toàn không grounded

Đây là một quality vector, không phải năm cách đo một thứ

  • • Mỗi metric gắn vào một chặng cụ thể của pipeline
  • • Hai metric reference-based cần expected_output mới chạy đủ
  • • Ba metric còn lại chạy được cả trên traffic không có ground truth