Ghi chép về gen ai trong môi trường vận hành
Bài viết được xếp theo đề mục, mỗi đề mục là một mạch nội dung đọc nối tiếp được. Chọn đề mục ở cột trái hoặc tìm theo từ khoá.
Vì sao LLM sai và đo nó thế nào: hallucination, calibration, benchmark và LLM-as-judge
Trong SimpleQA, GPT-4o-mini trả lời sai 90,5% số câu và chỉ từ chối 0,9%. Bài này giải thích vì sao đó không phải lỗi ngẫu nhiên: fact chỉ xuất hiện một lần trong dữ liệu là nơi model calibrated buộc phải bịa, và phần lớn benchmark chấm đúng/sai nên thưởng cho việc đoán. Sau đó là calibration và các cách lấy độ tự tin, bốn thành phần của một con số benchmark (năng lực, phần đã nhìn thấy, độ nhạy với cách hỏi, nhiễu), contamination nhìn từ phía người đo, và thiên kiến của LLM-as-judge. Code đo calibration của Qwen3-0.6B trên 200 câu MMLU, mô phỏng hai luật chấm điểm, và tính error bar cho phép so sánh hai model.
Vì sao LLM sai và đo nó thế nào: hallucination, calibration, benchmark và LLM-as-judge
Trong SimpleQA, GPT-4o-mini trả lời sai 90,5% số câu và chỉ từ chối 0,9%. Bài này giải thích vì sao đó không phải lỗi ngẫu nhiên: fact chỉ xuất hiện một lần trong dữ liệu là nơi model calibrated buộc phải bịa, và phần lớn benchmark chấm đúng/sai nên thưởng cho việc đoán. Sau đó là calibration và các cách lấy độ tự tin, bốn thành phần của một con số benchmark (năng lực, phần đã nhìn thấy, độ nhạy với cách hỏi, nhiễu), contamination nhìn từ phía người đo, và thiên kiến của LLM-as-judge. Code đo calibration của Qwen3-0.6B trên 200 câu MMLU, mô phỏng hai luật chấm điểm, và tính error bar cho phép so sánh hai model.
Reasoning model và test-time compute: khi nào "nghĩ lâu hơn" thì đáng
DeepSeek-R1-Zero tăng từ 15,6% lên 71,0% ở AIME 2024 chỉ nhờ RL với reward đúng/sai, và câu trả lời tự dài ra trong lúc train. Bài này giải thích vì sao viết ra các bước trung gian giúp model tính được nhiều hơn, ba cách tiêu compute lúc trả lời (sinh nhiều lần, nghĩ một chuỗi dài, tìm kiếm có chấm điểm từng bước), bên trong GRPO và vì sao một nhóm toàn đúng không dạy được gì, cuộc tranh luận RL dạy cái mới hay chỉ chọn lọc cái có sẵn, và giá thật của thinking tokens. Code chạy Qwen3-0.6B bật và tắt thinking trên GSM8K, mô phỏng pass@k và bầu đa số, và tính advantage GRPO bằng PyTorch thuần.
Bản tin AI tuần 12/10/2026: GPT-6 cho mọi người, watermark văn bản ở EU, RAG đa phương thức trên thiết bị
GPT-6 tới cả người dùng ChatGPT miễn phí và tự dựng giao diện cho câu trả lời. OpenAI bắt đầu gắn watermark văn bản ở EU và tự công bố điểm yếu của nó. Google đưa embedding đa phương thức xuống thiết bị, còn laptop RTX Spark hứa chạy model hơn 100B tham số tại máy.
Mixture of Experts và các kiến trúc thay thế: router, expert và Mamba
DeepSeek-V3 có 671B tham số nhưng mỗi token chỉ chạy khoảng 37B, còn Qwen3-Next xếp ba layer Gated DeltaNet trên mỗi layer attention. Bài này mở hộp router: nó chọn expert thế nào, vì sao để tự nhiên thì nó dồn hết vào vài expert, và ba cách cân bằng tải từ auxiliary loss đến bias không cần loss. Sau đó bài tính lại roofline cho MoE, rồi đi sang hướng còn lại: thay attention bằng một state cố định, vì sao model thuần SSM yếu ở việc nhớ chính xác, và vì sao hybrid thắng. Code đếm tham số của chín model thật từ header safetensors, viết một layer MoE bằng PyTorch thuần, và chứng minh ba cách tính một SSM cho cùng kết quả.
Inference ở quy mô lớn: KV cache, prefill và decode
Decode một token ở batch 1 làm khoảng 1 FLOP cho mỗi byte đọc vào, trong khi RTX 2080 Ti cần gần 90 FLOP mỗi byte mới dùng hết compute. Bài này lấy con số đó làm trục: mọi kỹ thuật phục vụ LLM, từ batching, GQA, PagedAttention đến FlashAttention và speculative decoding, đều trả lời một câu hỏi duy nhất: đọc ít byte hơn cho mỗi token, hoặc làm nhiều việc hơn cho mỗi byte đã đọc. Bài tính KV cache từ config.json của năm model thật, viết lại online softmax bằng PyTorch thuần, và chỉ ra context dài đắt chủ yếu ở bộ nhớ chứ không phải ở O(n²).
Fine-tuning tiết kiệm: LoRA, QLoRA và quantization
Full fine-tuning một model 8B cần khoảng 128 GB chỉ cho model states. Bài này tách con số đó ra từng phần rồi chỉ ra LoRA cắt phần nào, quantization cắt phần nào. Bài đo SVD của ΔW giữa Qwen2.5 base và Instruct, gắn LoRA bằng PEFT, train QLoRA thật trên một RTX 2080 Ti 11 GB, tự dựng bảng NF4 và so INT8, INT4, NF4 trên văn bản tiếng Anh và tiếng Việt. Ý xuyên suốt: hai núm vặn, mỗi núm cắt một phần bộ nhớ, và cái giá phải đo trên chính tác vụ của mình.
Bản tin AI tuần 28/09 – 05/10/2026: model frontier rẻ đi, phát hành có kiểm soát và luật chơi mới
Tuần này ba model frontier cùng đứng quanh mức $2/$10 cho 1M token, Google mở Gemini 4 Argon cho nhóm phòng thủ an ninh mạng trước, còn Nhà Trắng và California cùng đặt thêm luật chơi. Phía dev có thêm công cụ để can thiệp vào agent và RAG: Claude Code mods, Clef, Index-Translate.
Post-training: từ base model đến assistant
Base model dự đoán token rất giỏi nhưng không biết trả lời câu hỏi. Bài này chạy cùng một câu hỏi qua base model và instruct model, in ra chat template và loss mask của SFT, dẫn từng bước từ Bradley–Terry tới mục tiêu reward trừ KL rồi tới loss DPO, tính loss DPO trên một model thật, và đặt pipeline của Llama 2, Llama 3, Tülu 3 cạnh nhau. Ý xuyên suốt: post-training gần như không thêm tri thức, nó định hình cách model dùng tri thức đã có.
Pretraining: next-token prediction và scaling laws
Toàn bộ pretraining chỉ tối ưu một thứ: cross-entropy của token kế tiếp. Bài này tính loss, perplexity và bits-per-byte trên một model thật, đọc lại scaling laws của Kaplan và Chinchilla cùng các bản sửa sau đó, tính tay ngân sách compute của Llama 3 rồi đối chiếu với số Meta công bố, giải thích vì sao bộ nhớ buộc ta phải chia model lên nhiều GPU, và cách nhận ra một lần train đang hỏng.
Bên trong một Transformer block: FFN, residual stream và normalization
Attention chỉ là một nửa của Transformer block, và còn không phải nửa nặng hơn. Bài này đi qua nửa còn lại: residual stream như một bus chung, FFN như bộ nhớ key–value, GELU và SwiGLU, LayerNorm, RMSNorm và chỗ đặt norm, rồi đếm tham số và FLOPs của Llama 3.1 8B để thấy vì sao con số FFN ≈ 2/3 đã cũ.
Từ logits đến câu trả lời: decoding và sampling
Model chỉ trả ra logits, còn việc chọn token là của bước decoding. Bài này đọc source của Hugging Face Transformers và vLLM để xem logits đi qua những bước nào và theo thứ tự nào, chạy temperature, top-k, top-p, min-p trên một model thật, giải thích repetition penalty và constrained decoding cho JSON, rồi trả lời vì sao temperature 0 vẫn chưa chắc ra cùng một câu trả lời.
Decision model: nhánh mới bên cạnh LLM sinh văn bản
Phần lớn chỗ ta gắn LLM vào phần mềm thực ra chỉ cần một quyết định: route ticket này đi đâu, có chặn giao dịch này không, có cần người xem không. Vậy mà ta vẫn bắt model viết một đoạn văn rồi parse ngược lại. Decision model đảo cách làm đó: khai báo miền đáp án trước, nhận về quyết định có kiểu kèm xác suất.
Không có bài nào khớp bộ lọc hiện tại.
Mỗi tháng một lần, chỉ bài viết mới. Không quảng cáo, huỷ bất cứ lúc nào.