Ba cách tiêu compute lúc trả lời: song song, tuần tự, tìm kiếm

Ba cách tiêu compute lúc trả lời: song song, tuần tự, tìm kiếm A workflow diagram generated by Archify. 01 / Song song: best-of-N, self-consistency 02 / Tuần tự: một chuỗi dài, tự sửa 03 / Tìm kiếm: beam, tree với PRM Sinh N mẫu · độc lập, T > 0 · Song song: best-of-N, self-consistency Sinh N mẫu độc lập, T > 0 Bầu hoặc chấm · đa số, ORM, verifier · Song song: best-of-N, self-consistency Bầu hoặc chấm đa số, ORM, verifier Cần · đáp án trích, so được · Song song: best-of-N, self-consistency Cần đáp án trích, so được Chi phí · × N, chạy song song · Song song: best-of-N, self-consistency Chi phí × N, chạy song song Giới hạn · chọn bão hoà sớm · Song song: best-of-N, self-consistency Giới hạn chọn bão hoà sớm Một chuỗi dài · thinking tokens · Tuần tự: một chuỗi dài, tự sửa Một chuỗi dài thinking tokens Tự kiểm, tự sửa · wait, thử lại · Tuần tự: một chuỗi dài, tự sửa Tự kiểm, tự sửa wait, thử lại Cần · model train bằng RL · Tuần tự: một chuỗi dài, tự sửa Cần model train bằng RL Chi phí · latency theo độ dài · Tuần tự: một chuỗi dài, tự sửa Chi phí latency theo độ dài Giới hạn · overthinking, context · Tuần tự: một chuỗi dài, tự sửa Giới hạn overthinking, context Mở rộng từng bước · nhiều nhánh mỗi bước · Tìm kiếm: beam, tree với PRM Mở rộng từng bước nhiều nhánh mỗi bước PRM chấm bước · giữ nhánh tốt nhất · Tìm kiếm: beam, tree với PRM PRM chấm bước giữ nhánh tốt nhất Cần · PRM, chia được bước · Tìm kiếm: beam, tree với PRM Cần PRM, chia được bước Chi phí · gọi PRM mỗi bước · Tìm kiếm: beam, tree với PRM Chi phí gọi PRM mỗi bước Giới hạn · PRM bị khai thác · Tìm kiếm: beam, tree với PRM Giới hạn PRM bị khai thác viết tiếp bước sau Legend chi phí tăng theo sinh token chọn hoặc chấm điểm điều kiện cần có giới hạn