Golden là phần tĩnh, LLMTestCase là phần sinh ra lúc chạy

Golden là phần tĩnh, LLMTestCase là phần sinh ra lúc chạy A workflow diagram generated by Archify. 01 / Dựng một test case EX / Phải kiểm lại Golden · input và expected_output · Dựng một test case Golden input và expected_output rag_pipeline · chạy đúng phiên bản này · Dựng một test case rag_pipeline chạy đúng phiên bản này answer và chunks · trả về cả hai thứ · Dựng một test case answer và chunks trả về cả hai thứ LLMTestCase · ghép tĩnh với động · Dựng một test case LLMTestCase ghép tĩnh với động Sẵn sàng chấm · đủ field cho 5 metric · Dựng một test case Sẵn sàng chấm đủ field cho 5 metric Chỉ trả về string · không đo được retrieval · Phải kiểm lại Chỉ trả về string không đo được retrieval Đo context nào · trước hay sau rerank · Phải kiểm lại Đo context nào trước hay sau rerank lỗi hay gặp cần xác định lấy input chạy xong gắn vào kiểm field Legend Agent logic Policy Tool action Context / trace Cloud service External system

Một Golden sinh ra nhiều test case khác nhau

  • • Golden số 42 chạy qua RAG A cho test case A42
  • • Cũng Golden đó chạy qua RAG B cho test case B42
  • • Đó chính là thứ cần có để làm regression testing

Application phải expose cả retrieved chunks

  • • Một hàm chỉ trả về string thì không đo được chặng retrieval
  • • Interface nên trả cả answer và danh sách chunk
  • • Không có retrieval_context thì ba metric retriever không chạy được

Xác định rõ retrieval_context là context nào

  • • Nếu retriever trả 20 candidate mà reranker chỉ đưa 5 chunk cho LLM
  • • Đo raw retrieval và đo context cuối là hai câu hỏi khác nhau
  • • Không nói rõ thì score rất dễ bị diễn giải sai