Một câu hỏi đi qua reasoning model và những chỗ dễ hiểu sai

Một câu hỏi đi qua reasoning model và những chỗ dễ hiểu sai A workflow diagram generated by Archify. EX / Hiểu lầm lúc trả lời 02 / Một câu hỏi lúc trả lời (chính) 03 / Lúc train và bộ nhớ EX / Hiểu lầm về train và chi phí Dùng đúng ngân sách · budget là trần mềm · Hiểu lầm lúc trả lời Dùng đúng ngân sách budget là trần mềm Kiến trúc khác · vẫn là Transformer · Hiểu lầm lúc trả lời Kiến trúc khác vẫn là Transformer Aha từ số không · base đã tự kiểm tra · Hiểu lầm lúc trả lời Aha từ số không base đã tự kiểm tra Nghĩ lâu là đúng · dài hơn, chưa chắc đúng · Hiểu lầm lúc trả lời Nghĩ lâu là đúng dài hơn, chưa chắc đúng CoT là suy nghĩ thật · không luôn trung thực · Hiểu lầm lúc trả lời CoT là suy nghĩ thật không luôn trung thực Prompt + ngân sách · effort, budget, mode · Một câu hỏi lúc trả lời (chính) Prompt + ngân sách effort, budget, mode Prefill · một lượt forward · Một câu hỏi lúc trả lời (chính) Prefill một lượt forward Decode thinking · hàng nghìn token · Một câu hỏi lúc trả lời (chính) Decode thinking hàng nghìn token Kết thúc suy nghĩ · tự dừng hoặc bị cắt · Một câu hỏi lúc trả lời (chính) Kết thúc suy nghĩ tự dừng hoặc bị cắt Decode câu trả lời · ngắn hơn nhiều · Một câu hỏi lúc trả lời (chính) Decode câu trả lời ngắn hơn nhiều Trả về · ẩn, tóm tắt hoặc đủ · Một câu hỏi lúc trả lời (chính) Trả về ẩn, tóm tắt hoặc đủ Verifier · chấm đúng/sai · Lúc train và bộ nhớ Verifier chấm đúng/sai Weights sau RLVR · cùng Transformer · Lúc train và bộ nhớ Weights sau RLVR cùng Transformer KV cache · tăng theo mỗi token · Lúc train và bộ nhớ KV cache tăng theo mỗi token N lần + chọn · tuỳ chọn: vote, verifier · Lúc train và bộ nhớ N lần + chọn tuỳ chọn: vote, verifier Không hack được · verifier có lỗ hổng · Hiểu lầm về train và chi phí Không hack được verifier có lỗ hổng RL dạy kỹ năng mới · còn tranh luận · Hiểu lầm về train và chi phí RL dạy kỹ năng mới còn tranh luận Thinking token rẻ · tính như output · Hiểu lầm về train và chi phí Thinking token rẻ tính như output Vote cho mọi tác vụ · cần đáp án so được · Hiểu lầm về train và chi phí Vote cho mọi tác vụ cần đáp án so được reward weights ghi K, V sinh N lần Legend bước tính toán lúc train: RL và verifier điều khiển ngân sách và chọn đáp án bộ nhớ: KV cache chỗ dễ hiểu sai