Đề mục gen ai & ứng dụng
Những gì xảy ra khi mô hình rời khỏi notebook: RAG, agent gọi tool, và chỗ con người vẫn phải đứng trong luồng.
<- tất cả bài viếtDecision model: nhánh mới bên cạnh LLM sinh văn bản
Phần lớn chỗ ta gắn LLM vào phần mềm thực ra chỉ cần một quyết định: route ticket này đi đâu, có chặn giao dịch này không, có cần người xem không. Vậy mà ta vẫn bắt model viết một đoạn văn rồi parse ngược lại. Decision model đảo cách làm đó: khai báo miền đáp án trước, nhận về quyết định có kiểu kèm xác suất.
Hệ sinh thái JEV: SDK chính thức, cộng đồng và các bản System One mở
Danh sách gọn các tool và repo trong hệ sinh thái JEV, chia ba tầng theo ai chịu trách nhiệm: chính thức (org typesafe-ai), cộng đồng (gọi JEV thật qua SDK hoặc HTTP), và bản mở / self-host (model mở sau một server cùng giao thức). Mỗi tool một dòng: tên, link, mô tả.
JEV hoạt động thế nào: Choice, Score, Noul và RLCD
Một lần gọi JEV mất khoảng 70–500 ms. Trong khoảng đó, một request gồm state, model và các câu hỏi có kiểu đi vào, và một bộ xác suất đi ra. Bài này mở từng lớp của vòng đó: schema, ba kiểu câu hỏi, code chạy được, parallel sampler, RLCD, calibration, cách đặt ngưỡng, và ranh giới giữa điều TypeSafe đã công bố với điều chưa ai biết.
Production RAG Evaluation: đo chất lượng sau khi deploy
Bốn bài trước dừng ở chỗ chứng minh một phiên bản RAG tốt hơn phiên bản trước trên một dataset hữu hạn. Bài này đi tiếp sang phần khó hơn: giữ cho hệ thống đó còn tốt sau khi nó tiếp xúc với traffic thật, và biến chính những lỗi thật đó thành điều kiện mà phiên bản sau phải vượt qua.
Benchmark RAG với DeepEval: Hands-on từ dataset đến regression test
Bài trước dừng ở chỗ hiểu từng metric đo gì. Bài này đi tiếp một bước: làm sao biến những metric đó thành một benchmark chạy lặp lại được để so sánh các phiên bản RAG - từ golden dataset, thiết kế thí nghiệm, hard gate trong CI, tới per-case analysis và vòng lặp đưa lỗi production về thành regression case.
Đánh giá RAG với DeepEval: Fundamentals
Một hệ thống RAG có thể trả lời đúng vài câu trong demo rồi thất bại nghiêm trọng ở production. Bài này tách chất lượng RAG thành những thứ đo được - coverage, ranking, noise, groundedness, trọng tâm - rồi đi vào cách DeepEval biến từng thứ đó thành một con số, và cách đọc con số đó cho đúng.
Kiến trúc RAG: toàn bộ đường đi của một câu hỏi
Cách giải thích quen thuộc - chia tài liệu thành chunk, embed, lưu vào vector database, tìm đoạn gần nhất rồi đưa cho LLM - không sai, nhưng dùng nó làm mental model chính thì rất dễ xây một hệ thống chỉ chạy tốt trong demo. Bài này đi xuyên qua toàn bộ pipeline để thấy mỗi khâu nhận gì, làm gì, và hỏng thì biểu hiện ra sao.
Retrieval trong RAG: từ search đến reranking
Nếu LLM không bao giờ nhìn thấy evidence đúng thì model mạnh đến đâu cũng không tạo được câu trả lời có căn cứ. Bài này zoom vào đoạn pipeline giữa câu hỏi của user và evidence cuối cùng - nơi một dòng similarity_search thực ra là một ranking pipeline nhiều tầng với rất nhiều chỗ để hỏng.
RAG không cứu được dữ liệu bẩn
Ba tháng debug một hệ thống hỏi đáp nội bộ, và 80% công sức hoá ra nằm ở khâu chuẩn hoá tài liệu.
Không có bài nào khớp bộ lọc hiện tại.
Mỗi tháng một lần, chỉ bài viết mới. Không quảng cáo, huỷ bất cứ lúc nào.