Từ logits đến một token: pipeline decoding và những chỗ dễ hiểu sai

Từ logits đến một token: pipeline decoding và những chỗ dễ hiểu sai A workflow diagram generated by Archify. 01 / Luồng chạy ở mỗi bước sinh token EX / Chỗ dễ hiểu sai Logits · một số cho mỗi token · Luồng chạy ở mỗi bước sinh token Logits một số cho mỗi token Penalties · phạt token đã xuất hiện · Luồng chạy ở mỗi bước sinh token Penalties phạt token đã xuất hiện Grammar mask · token sai thành -inf · Luồng chạy ở mỗi bước sinh token Grammar mask token sai thành -inf Temperature · chia logits cho T · Luồng chạy ở mỗi bước sinh token Temperature chia logits cho T Top-k, top-p, min-p · cắt đuôi phân phối · Luồng chạy ở mỗi bước sinh token Top-k, top-p, min-p cắt đuôi phân phối Softmax → chọn · argmax hoặc lấy mẫu · Luồng chạy ở mỗi bước sinh token Softmax → chọn argmax hoặc lấy mẫu Penalty = chia logit · logit âm phải nhân · Chỗ dễ hiểu sai Penalty = chia logit logit âm phải nhân JSON mode là đủ · chỉ đảm bảo JSON hợp lệ · Chỗ dễ hiểu sai JSON mode là đủ chỉ đảm bảo JSON hợp lệ T = 0 là tất định · logits đổi theo batch · Chỗ dễ hiểu sai T = 0 là tất định logits đổi theo batch Top-p giữ N cố định · N đổi theo phân phối · Chỗ dễ hiểu sai Top-p giữ N cố định N đổi theo phân phối Cố định seed là đủ · batch, backend vẫn đổi · Chỗ dễ hiểu sai Cố định seed là đủ batch, backend vẫn đổi nối token vào context, chạy forward tiếp Legend bước biến đổi logits mask cứng: grammar hoặc schema dữ liệu: logits và token đã chọn chỗ dễ hiểu sai