Giữa retrieval và prompt còn một tầng phải tự viết

Giữa retrieval và prompt còn một tầng phải tự viết A data-flow diagram generated by Archify. 01 / Evidence 02 / Lọc và gộp 03 / Mở rộng và nén 04 / Ngân sách token 05 / Prompt Evidence sau rerank · kèm điểm và nguồn · 01 / Evidence Evidence sau rerank kèm điểm và nguồn Lọc và khử trùng · bỏ dưới ngưỡng, gộp trùng · 02 / Lọc và gộp Lọc và khử trùng bỏ dưới ngưỡng, gộp trùng Mở rộng và nén · parent chunk, bỏ phần thừa · 03 / Mở rộng và nén Mở rộng và nén parent chunk, bỏ phần thừa Ngân sách token · chừa chỗ cho output · 04 / Ngân sách token Ngân sách token chừa chỗ cho output Grounded prompt · evidence kèm source_id · 05 / Prompt Grounded prompt evidence kèm source_id Không đủ evidence · nên từ chối trả lời · 02 / Lọc và gộp Không đủ evidence nên từ chối trả lời Fact bị đếm hai lần · chỉ vì đoạn trùng nhau · 03 / Mở rộng và nén Fact bị đếm hai lần chỉ vì đoạn trùng nhau Thứ tự bị bỏ mặc · evidence tốt nằm ở giữa · 04 / Ngân sách token Thứ tự bị bỏ mặc evidence tốt nằm ở giữa Mất source map · citation không dựng lại nổi · 05 / Prompt Mất source map citation không dựng lại nổi chọn cái đáng giữ bù ngữ cảnh thiếu cắt theo ngân sách sắp xếp rồi ghép dưới ngưỡng hết nếu không gộp nếu không sắp nếu nén ẩu Legend primary data data store data flow

Nối chuỗi bằng hai dòng trống là chưa đủ cho production

  • • Context builder quyết định giữ gì, gộp gì, mở rộng gì, sắp ra sao
  • • Đơn vị tối ưu để search khác đơn vị tối ưu để LLM đọc
  • • Vì vậy retrieve chunk con rồi mở rộng sang chunk cha là hợp lý

Hệ thống cần được phép nói là chưa đủ thông tin

  • • Nếu không còn evidence nào vượt ngưỡng thì abstain tốt hơn là đoán
  • • Ép LLM hoàn thành mọi query là cách nhanh nhất để có hallucination
  • • Ngưỡng và hành vi từ chối là product requirement, không phải mặc định

Thứ tự evidence là tham số đo được, không phải chuyện ngẫu nhiên

  • • Ưu tiên điểm cao, đa dạng nguồn, trình tự thời gian hay nhóm nguồn
  • • Không có quy tắc đúng cho mọi ứng dụng nhưng phải có quy tắc được chọn
  • • Nén nội dung vẫn phải giữ ánh xạ về evidence gốc để trích dẫn đúng