Metric gắn ở đâu quyết định nó chẩn đoán được điều gì

Metric gắn ở đâu quyết định nó chẩn đoán được điều gì An architecture diagram generated by Archify. Root trace · câu hỏi vào, câu trả lời ra · Architecture component Root trace câu hỏi vào, câu trả lời ra Retriever span · evidence được tìm ra sao · Architecture component Retriever span evidence được tìm ra sao Context span · evidence nào thật sự vào prompt · Architecture component Context span evidence nào thật sự vào prompt LLM span · câu trả lời được sinh thế nào · Architecture component LLM span câu trả lời được sinh thế nào Đo ở đây · độ liên quan và tỷ lệ retrieval rỗng · Architecture component Đo ở đây độ liên quan và tỷ lệ retrieval rỗng Đo ở đây · evidence có bị cắt hay xếp sai không · Architecture component Đo ở đây evidence có bị cắt hay xếp sai không Đo ở đây · Faithfulness và tiêu chí riêng của domain · Architecture component Đo ở đây Faithfulness và tiêu chí riêng của domain component-level component-level component-level chất lượng evidence chất lượng context chất lượng sinh Legend Backend Database Cloud Message bus External

Đọc kết quả theo cặp thì mới ra kết luận

  • • End-to-end fail, retriever fail, Faithfulness pass: context sai
  • • Retriever pass, Faithfulness fail: model không dùng đúng evidence
  • • Nhìn một con số tổng thì hai ca này giống hệt nhau

End-to-end vẫn là thước đo cuối cùng

  • • Component-level để chẩn đoán, không thay góc nhìn người dùng
  • • Answer Relevancy hợp lý khi đặt ở root trace
  • • Pass mọi component vẫn có thể trả lời lệch câu hỏi

Context span là chặng hay bị bỏ qua

  • • Retriever và reranker đúng, context builder vẫn có thể cắt evidence
  • • Hoặc xếp sai thứ tự, hoặc chèn thêm bản trùng đã cũ
  • • Trace nên so được danh sách sau rerank với context cuối