Ba lớp để debug một hệ thống LLM Diagram

Lớp 1 — Representation

• Human text → Tokenizer → Token IDs
• Special token, padding, attention mask
• Kết thúc ở tensor mà model nhận được

Lớp 2 — Neural computation

• Embedding → Transformer layers
• Contextual hidden states → task head hoặc LM head
• Kết thúc ở logits, chưa phải xác suất

Lớp 3 — Inference system

• Batching, scheduling, quản lý KV cache
• Sampling, streaming, tối ưu bộ nhớ
• Kết thúc ở phần cứng CPU / GPU