Những gì một trace phải giữ để sáu tháng sau còn dựng lại được request

Những gì một trace phải giữ để sáu tháng sau còn dựng lại được request A data-flow diagram generated by Archify. 01 / Định danh 02 / Phiên bản 03 / Retrieval 04 / Generation 05 / Kết quả Định danh · request, trace, turn · 01 / Định danh Định danh request, trace, turn Phiên bản · rag, prompt, index · 02 / Phiên bản Phiên bản rag, prompt, index Retrieval · query, chunk, điểm · 03 / Retrieval Retrieval query, chunk, điểm Generation · model, token, dừng · 04 / Generation Generation model, token, dừng Dựng lại request · đủ để tìm gốc · 05 / Kết quả Dựng lại request đủ để tìm gốc Chỉ giữ id · không sao chép text · 03 / Retrieval Chỉ giữ id không sao chép text mọi request cấu hình nào chạy evidence vào prompt khép lại trace nội dung nhạy cảm Legend primary data data store data flow

Version là thứ hay bị quên nhất

  • • Faithfulness tụt từ 0.93 xuống 0.77 mà không biết prompt nào đang chạy thì rất khó lần
  • • Có prompt_version và index_version thì so sánh cohort thay cho phỏng đoán
  • • Một phiên bản RAG là tổ hợp prompt, embedding, retriever, reranker và index

Log id thay vì log nội dung khi có thể

  • • document_id, chunk_id, version, điểm và thứ hạng thường đã đủ để chẩn đoán
  • • Nội dung đầy đủ được lấy lại từ nguồn khi người điều tra có quyền
  • • Cách này giảm lượng dữ liệu nhạy cảm bị nhân bản sang telemetry

Đánh đổi phải được nói rõ

  • • Judge chạy bất đồng bộ vẫn cần context để chấm Faithfulness
  • • Một worker có quyền đọc nguồn là cách giữ được cả hai mục tiêu
  • • Debug dễ, đánh giá được và vẫn không sao chép dữ liệu vô hạn