Ghi chép về gen ai trong môi trường vận hành
Bài viết được xếp theo đề mục, mỗi đề mục là một mạch nội dung đọc nối tiếp được. Chọn đề mục ở cột trái hoặc tìm theo từ khoá.
Hệ sinh thái JEV: SDK chính thức, cộng đồng và các bản System One mở
Danh sách gọn các tool và repo trong hệ sinh thái JEV, chia ba tầng theo ai chịu trách nhiệm: chính thức (org typesafe-ai), cộng đồng (gọi JEV thật qua SDK hoặc HTTP), và bản mở / self-host (model mở sau một server cùng giao thức). Mỗi tool một dòng: tên, link, mô tả.
JEV hoạt động thế nào: Choice, Score, Noul và RLCD
Một lần gọi JEV mất khoảng 70–500 ms. Trong khoảng đó, một request gồm state, model và các câu hỏi có kiểu đi vào, và một bộ xác suất đi ra. Bài này mở từng lớp của vòng đó: schema, ba kiểu câu hỏi, code chạy được, parallel sampler, RLCD, calibration, cách đặt ngưỡng, và ranh giới giữa điều TypeSafe đã công bố với điều chưa ai biết.
Production RAG Evaluation: đo chất lượng sau khi deploy
Bốn bài trước dừng ở chỗ chứng minh một phiên bản RAG tốt hơn phiên bản trước trên một dataset hữu hạn. Bài này đi tiếp sang phần khó hơn: giữ cho hệ thống đó còn tốt sau khi nó tiếp xúc với traffic thật, và biến chính những lỗi thật đó thành điều kiện mà phiên bản sau phải vượt qua.
Benchmark RAG với DeepEval: Hands-on từ dataset đến regression test
Bài trước dừng ở chỗ hiểu từng metric đo gì. Bài này đi tiếp một bước: làm sao biến những metric đó thành một benchmark chạy lặp lại được để so sánh các phiên bản RAG - từ golden dataset, thiết kế thí nghiệm, hard gate trong CI, tới per-case analysis và vòng lặp đưa lỗi production về thành regression case.
Đánh giá RAG với DeepEval: Fundamentals
Một hệ thống RAG có thể trả lời đúng vài câu trong demo rồi thất bại nghiêm trọng ở production. Bài này tách chất lượng RAG thành những thứ đo được - coverage, ranking, noise, groundedness, trọng tâm - rồi đi vào cách DeepEval biến từng thứ đó thành một con số, và cách đọc con số đó cho đúng.
Kiến trúc RAG: toàn bộ đường đi của một câu hỏi
Cách giải thích quen thuộc - chia tài liệu thành chunk, embed, lưu vào vector database, tìm đoạn gần nhất rồi đưa cho LLM - không sai, nhưng dùng nó làm mental model chính thì rất dễ xây một hệ thống chỉ chạy tốt trong demo. Bài này đi xuyên qua toàn bộ pipeline để thấy mỗi khâu nhận gì, làm gì, và hỏng thì biểu hiện ra sao.
Retrieval trong RAG: từ search đến reranking
Nếu LLM không bao giờ nhìn thấy evidence đúng thì model mạnh đến đâu cũng không tạo được câu trả lời có căn cứ. Bài này zoom vào đoạn pipeline giữa câu hỏi của user và evidence cuối cùng - nơi một dòng similarity_search thực ra là một ranking pipeline nhiều tầng với rất nhiều chỗ để hỏng.
Attention và Self-Attention: cơ chế khiến một token hiểu được ngữ cảnh
Từ bank trong river bank và bank account có cùng một vector ở cửa vào model, nhưng nghĩa thì khác hẳn. Bài này đi qua cơ chế sửa chuyện đó - tra cứu mềm bằng Query, Key, Value; bốn bước của scaled dot-product attention; mask; multi-head; và cái giá bậc hai mà context dài phải trả.
Dataset cho LLM: từ dữ liệu thô đến những training sample model thật sự đọc
Một trang web không phải training sample. Một cuốn sách cũng không. Bài này đi hết quãng đường ở giữa - thu thập, trích xuất, chuẩn hoá, lọc, dedup, decontaminate, trộn domain, tokenize, cắt chuỗi - để thấy vì sao dataset không phải công việc phụ bên ngoài model, mà là một phần của chính bài toán xây LLM.
Embedding trong LLM: từ token ID đến vector mà Transformer tính toán được
Token ID 8812 không lớn hơn ID 13, cũng không gần ID 8813. Nó chỉ là một chỗ ngồi được đánh số. Bài này đi qua chặng biến những số nguyên vô nghĩa đó thành các vector có cấu trúc - phép tra bảng, không gian học được từ phân bố, thông tin vị trí, residual stream, và đường quay ngược về vocabulary.
Fine-tuning một pretrained model: từ dữ liệu thô đến training loop
Hai bài đầu nói về một model đã biết sẵn. Bài này nói về cách thay đổi những gì nó biết: split và rò rỉ dữ liệu, padding và chi phí thật của một tensor, cross-entropy, backpropagation, AdamW, learning-rate schedule, và cách đọc learning curve để phân biệt overfitting với underfitting.
Sử dụng Transformers: từ pipeline() đến triển khai LLM tối ưu
pipeline() chỉ là một lớp abstraction mỏng. Bài này mở nó ra: tokenizer, model head, logits, padding và attention mask, rồi đi tiếp đến device, dtype, KV cache, continuous batching, quantization và cách chọn giữa vLLM, SGLang và llama.cpp khi TGI đã bị archive.
Không có bài nào khớp bộ lọc hiện tại.
Mỗi tháng một lần, chỉ bài viết mới. Không quảng cáo, huỷ bất cứ lúc nào.