Một vòng RLVR với GRPO và pipeline của DeepSeek-R1

Một vòng RLVR với GRPO và pipeline của DeepSeek-R1 A workflow diagram generated by Archify. 01 / Một bước GRPO (chính) 02 / Ràng buộc và điểm yếu 03 / Pipeline DeepSeek-R1 Prompt · toán, code có đáp án · Một bước GRPO (chính) Prompt toán, code có đáp án Policy sinh G câu · sampling, T > 0 · Một bước GRPO (chính) Policy sinh G câu sampling, T > 0 Verifier chấm · đúng/sai + format · Một bước GRPO (chính) Verifier chấm đúng/sai + format Advantage nhóm · (r − mean) / std · Một bước GRPO (chính) Advantage nhóm (r − mean) / std Cập nhật policy · clip, trừ β·KL · Một bước GRPO (chính) Cập nhật policy clip, trừ β·KL Verifier hở · sửa test, đặc cách · Ràng buộc và điểm yếu Verifier hở sửa test, đặc cách Nhóm đồng nhất · toàn đúng/sai: A = 0 · Ràng buộc và điểm yếu Nhóm đồng nhất toàn đúng/sai: A = 0 Reference model · đóng băng · Ràng buộc và điểm yếu Reference model đóng băng DeepSeek-V3-Base · base model · Pipeline DeepSeek-R1 DeepSeek-V3-Base base model Cold-start SFT · vài nghìn CoT dài · Pipeline DeepSeek-R1 Cold-start SFT vài nghìn CoT dài RL suy luận · reward đúng + ngôn ngữ · Pipeline DeepSeek-R1 RL suy luận reward đúng + ngôn ngữ Rejection sampling · + SFT khoảng 800k mẫu · Pipeline DeepSeek-R1 Rejection sampling + SFT khoảng 800k mẫu RL mọi tình huống · thêm reward model · Pipeline DeepSeek-R1 RL mọi tình huống thêm reward model KL bước tiếp theo Legend giai đoạn train của R1 policy sinh và cập nhật chấm điểm và tính advantage reference model đóng băng chỗ tín hiệu mất hoặc bị khai thác