Post-training từ base model đến assistant và những chỗ dễ hiểu sai

Post-training từ base model đến assistant và những chỗ dễ hiểu sai A workflow diagram generated by Archify. 01 / Nhánh RLHF 02 / Luồng chính (nhánh DPO) EX / Chỗ dễ hiểu sai Reward model · Bradley–Terry · Nhánh RLHF Reward model Bradley–Terry PPO · reward − β·KL với reference · Nhánh RLHF PPO reward − β·KL với reference Base model · viết tiếp văn bản (bài 10) · Luồng chính (nhánh DPO) Base model viết tiếp văn bản (bài 10) SFT · chat template, loss mask · Luồng chính (nhánh DPO) SFT chat template, loss mask Cặp so sánh · người hoặc AI chấm · Luồng chính (nhánh DPO) Cặp so sánh người hoặc AI chấm DPO · loss trực tiếp trên cặp · Luồng chính (nhánh DPO) DPO loss trực tiếp trên cặp Assistant · nhiều vòng lặp lại · Luồng chính (nhánh DPO) Assistant nhiều vòng lặp lại Dạy kiến thức mới · chủ yếu dạy hành vi · Chỗ dễ hiểu sai Dạy kiến thức mới chủ yếu dạy hành vi Loss tính cả prompt · chỉ token assistant · Chỗ dễ hiểu sai Loss tính cả prompt chỉ token assistant CAI không có người · người viết nguyên tắc · Chỗ dễ hiểu sai CAI không có người người viết nguyên tắc DPO luôn hơn PPO · còn đang tranh luận · Chỗ dễ hiểu sai DPO luôn hơn PPO còn đang tranh luận DPO bỏ reference · π_ref vẫn trong loss · Chỗ dễ hiểu sai DPO bỏ reference π_ref vẫn trong loss Reward cao là tốt · reward hacking · Chỗ dễ hiểu sai Reward cao là tốt reward hacking Legend bước train model đầu vào và đầu ra dữ liệu: hội thoại, cặp so sánh chỗ dễ hiểu sai