Ghi chép về gen ai trong môi trường vận hành
Bài viết được xếp theo đề mục, mỗi đề mục là một mạch nội dung đọc nối tiếp được. Chọn đề mục ở cột trái hoặc tìm theo từ khoá.
Fine-tuning một pretrained model: từ dữ liệu thô đến training loop
Hai bài đầu nói về một model đã biết sẵn. Bài này nói về cách thay đổi những gì nó biết: split và rò rỉ dữ liệu, padding và chi phí thật của một tensor, cross-entropy, backpropagation, AdamW, learning-rate schedule, và cách đọc learning curve để phân biệt overfitting với underfitting.
Nền tảng bên dưới mọi LLM: token, attention, kiến trúc Transformer và đường đi của một câu trả lời.
Fine-tuning một pretrained model: từ dữ liệu thô đến training loop
Hai bài đầu nói về một model đã biết sẵn. Bài này nói về cách thay đổi những gì nó biết: split và rò rỉ dữ liệu, padding và chi phí thật của một tensor, cross-entropy, backpropagation, AdamW, learning-rate schedule, và cách đọc learning curve để phân biệt overfitting với underfitting.
#fine-tuningSử dụng Transformers: từ pipeline() đến triển khai LLM tối ưu
pipeline() chỉ là một lớp abstraction mỏng. Bài này mở nó ra: tokenizer, model head, logits, padding và attention mask, rồi đi tiếp đến device, dtype, KV cache, continuous batching, quantization và cách chọn giữa TGI, vLLM và llama.cpp.
#transformersTokenization trong LLM: từ văn bản con người đọc được đến những con số model xử lý được
Ba bài trước đều bắt đầu từ chỗ văn bản đã thành số. Bài này quay lại bước đó: normalization, pre-tokenization, subword segmentation, vocabulary và special token - lớp giao diện rời rạc quyết định context window, chi phí, và cả việc một ngôn ngữ có bị đánh thuế token hay không.
#tokenizationTransformer từ A đến Z: Hiểu nền tảng của LLM
Một mental model có hệ thống về Transformer: từ token và chi phí token tiếng Việt, qua Attention, residual, FFN và RoPE, tới ba họ kiến trúc, MoE và toàn bộ đường đi của inference.
#transformerNhững gì xảy ra khi mô hình rời khỏi notebook: RAG, agent gọi tool, và chỗ con người vẫn phải đứng trong luồng.
Không có bài nào khớp bộ lọc hiện tại.
Mỗi tháng một lần, chỉ bài viết mới. Không quảng cáo, huỷ bất cứ lúc nào.