Một bước train của RLHF với PPO và của DPO

Một bước train của RLHF với PPO và của DPO A workflow diagram generated by Archify. 01 / RLHF với PPO: bốn model, online 02 / DPO: hai model, offline Prompt x · không có câu trả lời mẫu · RLHF với PPO: bốn model, online Prompt x không có câu trả lời mẫu Policy sinh y · sampling như bài 9 · RLHF với PPO: bốn model, online Policy sinh y sampling như bài 9 Reward model · chấm r(x, y) · RLHF với PPO: bốn model, online Reward model chấm r(x, y) Reference π_ref · phạt KL từng token · RLHF với PPO: bốn model, online Reference π_ref phạt KL từng token Value model · ước lượng advantage · RLHF với PPO: bốn model, online Value model ước lượng advantage PPO update · clipped objective · RLHF với PPO: bốn model, online PPO update clipped objective Cặp có sẵn · x, y_w, y_l · DPO: hai model, offline Cặp có sẵn x, y_w, y_l Policy π_θ · log-prob của y_w, y_l · DPO: hai model, offline Policy π_θ log-prob của y_w, y_l Reference π_ref · log-prob của y_w, y_l · DPO: hai model, offline Reference π_ref log-prob của y_w, y_l Loss DPO · −log σ(β · hiệu log-ratio) · DPO: hai model, offline Loss DPO −log σ(β · hiệu log-ratio) Gradient step · như SFT, không sampling · DPO: hai model, offline Gradient step như SFT, không sampling sinh lại bằng policy mới Legend policy sinh văn bản trong lúc train model được cập nhật loss và bước cập nhật dữ liệu đầu vào của bước model đóng băng, chỉ chạy forward