Ba nhánh từ một base model: LoRA, QLoRA, PTQ và những chỗ dễ hiểu sai

Ba nhánh từ một base model: LoRA, QLoRA, PTQ và những chỗ dễ hiểu sai A workflow diagram generated by Archify. EX / Hiểu lầm về LoRA 02 / Nhánh LoRA 03 / Nhánh QLoRA (chính) 04 / Nhánh PTQ để deploy EX / Hiểu lầm về quantization r càng lớn càng tốt · r nhỏ thường đủ · Hiểu lầm về LoRA r càng lớn càng tốt r nhỏ thường đủ Luôn kém/luôn bằng FT · LoRA vs FT: tuỳ dữ liệu · Hiểu lầm về LoRA Luôn kém/luôn bằng FT LoRA vs FT: tuỳ dữ liệu Model thành hạng thấp · chỉ ΔW hạng thấp · Hiểu lầm về LoRA Model thành hạng thấp chỉ ΔW hạng thấp QLoRA ra model 4-bit · ra một adapter · Hiểu lầm về LoRA QLoRA ra model 4-bit ra một adapter Đóng băng W₀ · gắn B·A, chọn r, α · Nhánh LoRA Đóng băng W₀ gắn B·A, chọn r, α Train A, B · base không có gradient · Nhánh LoRA Train A, B base không có gradient Merge / giữ adapter · W₀ + (α/r)·BA · Nhánh LoRA Merge / giữ adapter W₀ + (α/r)·BA Base model bf16 · weights W₀ · Nhánh QLoRA (chính) Base model bf16 weights W₀ Lượng tử base · NF4 + double quant · Nhánh QLoRA (chính) Lượng tử base NF4 + double quant Train LoRA · dequantize khi forward · Nhánh QLoRA (chính) Train LoRA dequantize khi forward Adapter + base NF4 · adapter 16 bit · Nhánh QLoRA (chính) Adapter + base NF4 adapter 16 bit Calibration (tuỳ) · GPTQ, AWQ, imatrix · Nhánh PTQ để deploy Calibration (tuỳ) GPTQ, AWQ, imatrix GPTQ / AWQ / k-quant · theo nhóm, có scale · Nhánh PTQ để deploy GPTQ / AWQ / k-quant theo nhóm, có scale GGUF, safetensors · định dạng file · Nhánh PTQ để deploy GGUF, safetensors định dạng file Inference · llama.cpp, vLLM · Nhánh PTQ để deploy Inference llama.cpp, vLLM Đo lại · tác vụ và ngôn ngữ của mình · Nhánh PTQ để deploy Đo lại tác vụ và ngôn ngữ của mình 4-bit là đúng 4 bit · scale tốn thêm bit · Hiểu lầm về quantization 4-bit là đúng 4 bit scale tốn thêm bit GGUF là phương pháp · là định dạng file · Hiểu lầm về quantization GGUF là phương pháp là định dạng file Luôn nhanh hơn · tuỳ kernel và pha · Hiểu lầm về quantization Luôn nhanh hơn tuỳ kernel và pha Perplexity giữ là ổn · câu trả lời vẫn đổi · Hiểu lầm về quantization Perplexity giữ là ổn câu trả lời vẫn đổi Legend bước train hoặc lượng tử hoá model đầu vào và đầu ra dữ liệu calibration và đo lường định dạng lưu trữ chỗ dễ hiểu sai