Trace là toàn bộ request, span là từng chặng bên trong nó

Trace là toàn bộ request, span là từng chặng bên trong nó An architecture diagram generated by Archify. Trace · một request từ đầu tới cuối · Architecture component Trace một request từ đầu tới cuối Span query rewrite · câu hỏi gốc thành retrieval query · Architecture component Span query rewrite câu hỏi gốc thành retrieval query Span retrieval · dense, BM25, fusion, rerank · Architecture component Span retrieval dense, BM25, fusion, rerank Span generation · prompt cuối và câu trả lời · Architecture component Span generation prompt cuối và câu trả lời Giữ gì ở đây · query gốc, query đã viết lại, filter · Architecture component Giữ gì ở đây query gốc, query đã viết lại, filter Giữ gì ở đây · chunk id, version, điểm, thứ hạng · Architecture component Giữ gì ở đây chunk id, version, điểm, thứ hạng Giữ gì ở đây · prompt version, model, token, lý do dừng · Architecture component Giữ gì ở đây prompt version, model, token, lý do dừng span con thứ nhất span con thứ hai span con cuối giữ gì đủ để biết evidence nào vào giữ gì Legend Backend Database Cloud Message bus External

Chỉ log input và output thì không truy được nguyên nhân

  • • User báo câu trả lời đang dùng policy cũ, ta cần biết vì sao
  • • Có span mới lần ngược được từ answer về đúng chunk đã dùng
  • • Nguyên nhân có thể nằm ở filter version chứ không nằm ở LLM

Mỗi span nên giữ đủ sáu thứ

  • • Input, output, latency, metadata, điểm số và lỗi nếu có
  • • Thêm model và version cho những span gọi mô hình
  • • Đó là mức tối thiểu để một trace còn giá trị sau vài tháng

Span cũng là nơi gắn metric thành phần

  • • Trace gắn metric end-to-end theo góc nhìn người dùng
  • • Span retriever gắn metric đo riêng chất lượng evidence
  • • Span LLM gắn Faithfulness và các tiêu chí sinh nội dung