Một vòng speculative decoding: đoán k token, kiểm trong một forward

Một vòng speculative decoding: đoán k token, kiểm trong một forward A sequence diagram generated by Archify. prefix hiện tại k token nháp, k lần decode nhỏ prefix + k token, một forward q tại k vị trí p tại k + 1 vị trí nhận token i với xác suất min(1, p/q) bị từ chối: lấy mẫu lại từ max(0, p − q) nhận đủ k: thêm 1 token thưởng từ p bỏ KV của token bị loại, vòng mới Đoán Kiểm Chấp nhận Vòng decode · giữ prefix x₁…xₜ · Sequence participant Vòng decode giữ prefix x₁…xₜ Model nháp · nhỏ, phân phối q · Sequence participant Model nháp nhỏ, phân phối q Model đích · lớn, phân phối p · Sequence participant Model đích lớn, phân phối p Bước kiểm · rejection sampling · Sequence participant Bước kiểm rejection sampling Legend forward của model đích kết quả trả về dữ liệu phụ, dọn KV gửi dữ liệu