Đề mục cách hoạt động của llm
Nền tảng bên dưới mọi LLM: token, attention, kiến trúc Transformer và đường đi của một câu trả lời.
<- tất cả bài viếtFine-tuning một pretrained model: từ dữ liệu thô đến training loop
Hai bài đầu nói về một model đã biết sẵn. Bài này nói về cách thay đổi những gì nó biết: split và rò rỉ dữ liệu, padding và chi phí thật của một tensor, cross-entropy, backpropagation, AdamW, learning-rate schedule, và cách đọc learning curve để phân biệt overfitting với underfitting.
Sử dụng Transformers: từ pipeline() đến triển khai LLM tối ưu
pipeline() chỉ là một lớp abstraction mỏng. Bài này mở nó ra: tokenizer, model head, logits, padding và attention mask, rồi đi tiếp đến device, dtype, KV cache, continuous batching, quantization và cách chọn giữa vLLM, SGLang và llama.cpp khi TGI đã bị archive.
Tokenization trong LLM: từ văn bản con người đọc được đến những con số model xử lý được
Ba bài trước đều bắt đầu từ chỗ văn bản đã thành số. Bài này quay lại bước đó: normalization, pre-tokenization, subword segmentation, vocabulary và special token - lớp giao diện rời rạc quyết định context window, chi phí, và cả việc một ngôn ngữ có bị đánh thuế token hay không.
Transformer từ A đến Z: Hiểu nền tảng của LLM
Một mental model có hệ thống về Transformer: từ token và chi phí token tiếng Việt, qua Attention, residual, FFN và RoPE, tới ba họ kiến trúc, MoE và toàn bộ đường đi của inference.
Không có bài nào khớp bộ lọc hiện tại.
Mỗi tháng một lần, chỉ bài viết mới. Không quảng cáo, huỷ bất cứ lúc nào.