HyDE đi vòng qua một câu trả lời giả định

HyDE đi vòng qua một câu trả lời giả định A data-flow diagram generated by Archify. 01 / Câu hỏi 02 / Sinh giả định 03 / Passage giả định 04 / Embedding 05 / Corpus thật Câu hỏi user · hình dạng của một câu hỏi · 01 / Câu hỏi Câu hỏi user hình dạng của một câu hỏi LLM · viết ra một đoạn trả lời · 02 / Sinh giả định LLM viết ra một đoạn trả lời Passage giả định · hình dạng của một câu trả lời · 03 / Passage giả định Passage giả định hình dạng của một câu trả lời Embedding · encode đoạn giả định · 04 / Embedding Embedding encode đoạn giả định ANN search · trên tài liệu có thật · 05 / Corpus thật ANN search trên tài liệu có thật Không cần nhãn · dùng được ở zero-shot · 02 / Sinh giả định Không cần nhãn dùng được ở zero-shot Có thể sai chi tiết · đây không phải ground truth · 03 / Passage giả định Có thể sai chi tiết đây không phải ground truth Thêm một lần gọi LLM · latency tăng trước cả search · 04 / Embedding Thêm một lần gọi LLM latency tăng trước cả search Là giả thuyết · phải benchmark chứ không mặc định · 05 / Corpus thật Là giả thuyết phải benchmark chứ không mặc định đưa cho model sinh đoạn văn encode đoạn giả định tìm láng giềng được gì mất gì trả giá kết luận Legend primary data data store data flow

Vấn đề HyDE đang giải

  • • Câu hỏi ngắn và đoạn văn trả lời có hình dạng ngôn ngữ khác nhau
  • • Embedding của một câu hỏi chưa chắc nằm gần embedding của đoạn trả lời
  • • Một passage giả định đóng vai cầu nối giữa hai vùng không gian đó

Đoạn giả định không phải là bằng chứng

  • • Nó không bao giờ được đưa thẳng vào context cho câu trả lời cuối
  • • Nó chỉ được dùng làm vector truy vấn trên corpus thật
  • • Chính paper HyDE cũng lưu ý đoạn này có thể chứa chi tiết sai

Nên coi HyDE là giả thuyết cần đo

  • • Đáng thử ở zero-shot và ở corpus có khoảng cách từ vựng lớn
  • • Không đáng bật mặc định vì nó thêm một lần gọi LLM cho mọi truy vấn
  • • Đo riêng slice query mà nó nhắm tới thay vì nhìn điểm trung bình