Hỏi đáp trên 180.000 trang quy trình, thông tư và hợp đồng, mỗi câu trả lời kèm trích dẫn tới đúng trang gốc và tôn trọng phân quyền theo phòng ban.
Nhân viên vận hành mất trung bình 18 phút cho mỗi lần tra cứu quy trình: mở cổng nội bộ, đoán từ khoá, tải về vài file PDF dài hàng trăm trang rồi đọc dò. Bộ phận pháp chế nhận khoảng 400 câu hỏi lặp lại mỗi tháng, phần lớn có sẵn câu trả lời trong tài liệu.
Yêu cầu bắt buộc từ đầu: không câu trả lời nào được đưa ra mà thiếu trích dẫn kiểm chứng được, và không ai đọc được tài liệu ngoài quyền hạn của mình. Hai điều kiện đó định hình toàn bộ kiến trúc.
OCR lại 40.000 trang scan, tách bảng khỏi văn bản, gộp các bản sửa đổi thông tư về một dòng thời gian duy nhất.
BM25 lọc thô rồi embedding xếp hạng lại, kèm bộ lọc quyền truy cập áp ngay trong truy vấn thay vì sau khi có kết quả.
200 câu hỏi có đáp án chuẩn do pháp chế soạn, chạy tự động mỗi lần đổi prompt hoặc mô hình.
vLLM trên hai GPU nội bộ, bảng theo dõi tỉ lệ trích dẫn sai, tài liệu vận hành cho nhóm hạ tầng của khách.
Bản đầu lọc kết quả sau khi truy hồi, khiến người dùng thấy số lượng kết quả thay đổi theo quyền và đoán được sự tồn tại của tài liệu mật. Chúng tôi chuyển nhãn phòng ban thành điều kiện trong câu truy vấn pgvector.
Biểu phí và hạn mức chiếm phần lớn câu hỏi thực tế, nhưng khi chuyển thành văn bản phẳng thì mô hình đọc lệch cột. Bảng được tách riêng, lưu dạng markdown và trả về nguyên khối.
Người vận hành cần mở đúng trang để đối chiếu. Chúng tôi giữ toạ độ trang qua toàn bộ pipeline chunking, đắt hơn về lưu trữ nhưng đổi lại sự tin tưởng.
Chúng tôi dựng bộ eval sau khi đã có prototype, và trả giá bằng sáu tuần tranh luận cảm tính về chất lượng câu trả lời. Lần sau, 200 câu hỏi có đáp án chuẩn sẽ là thứ đầu tiên được viết, trước cả khi chọn mô hình embedding.
Cần một hệ thống tương tự trên dữ liệu của bạn? Viết vài dòng về bối cảnh.