Pipeline fine-tune mô hình tiếng Việt
Quy trình khép kín từ thu thập, làm sạch, huấn luyện LoRA đến đánh giá tự động, chạy lại bằng một lệnh.
-> chu kỳ thử nghiệm: 9 ngày -> 14 giờ
$ whoami
Trương Đức Dũng - AI Engineer. Tôi đưa mô hình rời khỏi notebook và chạy thật trong production.
Tôi tập trung vào các hệ thống LLM có thể vận hành thật: RAG trên dữ liệu nội bộ, fine-tune mô hình tiếng Việt, hạ tầng suy luận và các lớp đánh giá chất lượng trước khi đưa vào sản phẩm. Tôi viết lại những gì học được ở mục blog bên dưới.
$ ls ./work --selected
04Trợ lý tra cứu tài liệu nội bộ
Hỏi đáp trên 180.000 trang quy trình và hợp đồng của một ngân hàng, có trích dẫn nguồn và phân quyền theo phòng ban.
-> giảm 62% thời gian tra cứu thủ công
Chấm điểm rủi ro giao dịch thời gian thực
Mô hình gradient boosting phục vụ dưới 40ms p99, kèm giám sát trôi dữ liệu và rollback tự động.
-> 1,4 triệu lượt suy luận mỗi ngày
eval-kit - thư viện đánh giá mã nguồn mở
Bộ công cụ nhỏ để viết test cho đầu ra LLM giống như viết unit test, dùng nội bộ trước khi mở mã.
-> 1.900 sao github, 40 người đóng góp
$ cat experience.log
2023 - nay
AI Engineer
Công ty sản phẩm fintech, Hà Nội
Dẫn dắt nhóm 4 người xây nền tảng LLM nội bộ và các ứng dụng chạy trên đó.
2021 - 2023
Machine Learning Engineer
Startup thương mại điện tử
Hệ thống gợi ý sản phẩm và dự báo tồn kho cho 2 triệu người dùng hoạt động hàng tháng.
2019 - 2021
Data Scientist
Công ty tư vấn dữ liệu
Mô hình dự báo nhu cầu và phân khúc khách hàng cho khách ngành bán lẻ, logistics.
$ cat stack.toml
[models]
pytorchtransformerslora/qlorarageval & benchmarkdistillation
[infra]
vllmtritonkubernetesrayairflowawsterraform
[languages]
pythongosqlduckdbpostgres/pgvectorweights & biases
$ ls ./blog
tất cả bài viết ->./gen-ai/llm-fundamentals/cách hoạt động của llm3 bài
2026-10-19Vì sao LLM sai và đo nó thế nào: hallucination, calibration, benchmark và LLM-as-judge
Trong SimpleQA, GPT-4o-mini trả lời sai 90,5% số câu và chỉ từ chối 0,9%. Bài này giải thích vì sao đó không phải lỗi ngẫu nhiên: fact chỉ xuất hiện một lần trong dữ liệu là nơi model calibrated buộc phải bịa, và phần lớn benchmark chấm đúng/sai nên thưởng cho việc đoán. Sau đó là calibration và các cách lấy độ tự tin, bốn thành phần của một con số benchmark (năng lực, phần đã nhìn thấy, độ nhạy với cách hỏi, nhiễu), contamination nhìn từ phía người đo, và thiên kiến của LLM-as-judge. Code đo calibration của Qwen3-0.6B trên 200 câu MMLU, mô phỏng hai luật chấm điểm, và tính error bar cho phép so sánh hai model.
#llmReasoning model và test-time compute: khi nào "nghĩ lâu hơn" thì đáng
DeepSeek-R1-Zero tăng từ 15,6% lên 71,0% ở AIME 2024 chỉ nhờ RL với reward đúng/sai, và câu trả lời tự dài ra trong lúc train. Bài này giải thích vì sao viết ra các bước trung gian giúp model tính được nhiều hơn, ba cách tiêu compute lúc trả lời (sinh nhiều lần, nghĩ một chuỗi dài, tìm kiếm có chấm điểm từng bước), bên trong GRPO và vì sao một nhóm toàn đúng không dạy được gì, cuộc tranh luận RL dạy cái mới hay chỉ chọn lọc cái có sẵn, và giá thật của thinking tokens. Code chạy Qwen3-0.6B bật và tắt thinking trên GSM8K, mô phỏng pass@k và bầu đa số, và tính advantage GRPO bằng PyTorch thuần.
#llmMixture of Experts và các kiến trúc thay thế: router, expert và Mamba
DeepSeek-V3 có 671B tham số nhưng mỗi token chỉ chạy khoảng 37B, còn Qwen3-Next xếp ba layer Gated DeltaNet trên mỗi layer attention. Bài này mở hộp router: nó chọn expert thế nào, vì sao để tự nhiên thì nó dồn hết vào vài expert, và ba cách cân bằng tải từ auxiliary loss đến bias không cần loss. Sau đó bài tính lại roofline cho MoE, rồi đi sang hướng còn lại: thay attention bằng một state cố định, vì sao model thuần SSM yếu ở việc nhớ chính xác, và vì sao hybrid thắng. Code đếm tham số của chín model thật từ header safetensors, viết một layer MoE bằng PyTorch thuần, và chứng minh ba cách tính một SSM cho cùng kết quả.
#llm./ai-news/bản tin ai2 bài
2026-10-12Bản tin AI tuần 12/10/2026: GPT-6 cho mọi người, watermark văn bản ở EU, RAG đa phương thức trên thiết bị
GPT-6 tới cả người dùng ChatGPT miễn phí và tự dựng giao diện cho câu trả lời. OpenAI bắt đầu gắn watermark văn bản ở EU và tự công bố điểm yếu của nó. Google đưa embedding đa phương thức xuống thiết bị, còn laptop RTX Spark hứa chạy model hơn 100B tham số tại máy.
#ai-newsBản tin AI tuần 28/09 – 05/10/2026: model frontier rẻ đi, phát hành có kiểm soát và luật chơi mới
Tuần này ba model frontier cùng đứng quanh mức $2/$10 cho 1M token, Google mở Gemini 4 Argon cho nhóm phòng thủ an ninh mạng trước, còn Nhà Trắng và California cùng đặt thêm luật chơi. Phía dev có thêm công cụ để can thiệp vào agent và RAG: Claude Code mods, Clef, Index-Translate.
#ai-news./gen-ai/gen ai & ứng dụng3 bài
2026-09-30Decision model: nhánh mới bên cạnh LLM sinh văn bản
Phần lớn chỗ ta gắn LLM vào phần mềm thực ra chỉ cần một quyết định: route ticket này đi đâu, có chặn giao dịch này không, có cần người xem không. Vậy mà ta vẫn bắt model viết một đoạn văn rồi parse ngược lại. Decision model đảo cách làm đó: khai báo miền đáp án trước, nhận về quyết định có kiểu kèm xác suất.
#decision-modelHệ sinh thái JEV: SDK chính thức, cộng đồng và các bản System One mở
Danh sách gọn các tool và repo trong hệ sinh thái JEV, chia ba tầng theo ai chịu trách nhiệm: chính thức (org typesafe-ai), cộng đồng (gọi JEV thật qua SDK hoặc HTTP), và bản mở / self-host (model mở sau một server cùng giao thức). Mỗi tool một dòng: tên, link, mô tả.
#decision-modelJEV hoạt động thế nào: Choice, Score, Noul và RLCD
Một lần gọi JEV mất khoảng 70–500 ms. Trong khoảng đó, một request gồm state, model và các câu hỏi có kiểu đi vào, và một bộ xác suất đi ra. Bài này mở từng lớp của vòng đó: schema, ba kiểu câu hỏi, code chạy được, parallel sampler, RLCD, calibration, cách đặt ngưỡng, và ranh giới giữa điều TypeSafe đã công bố với điều chưa ai biết.
#decision-model~/contact.sh
Bạn có bài toán AI cần đưa vào vận hành?
Tôi nhận tư vấn kiến trúc, dựng prototype và đồng hành đến khi hệ thống chạy thật. Viết vài dòng về bối cảnh, tôi trả lời trong 48 giờ.