Từ logits đến token tiếp theo

Từ logits đến token tiếp theo A workflow diagram generated by Archify. 01 / Nắn phân phối 02 / Cắt bớt ứng viên 03 / Chọn token EX / Điều kiện dừng Chỉnh logits Thành xác suất Chọn và lặp Logits · score thô trên vocab · Nắn phân phối › Chỉnh logits Logits score thô trên vocab Penalty · presence + frequency · Nắn phân phối › Chỉnh logits · giảm lặp Penalty presence + frequency giảm lặp Temperature · chia logits cho T · Nắn phân phối › Chỉnh logits Temperature chia logits cho T Softmax · thành xác suất · Nắn phân phối › Thành xác suất Softmax thành xác suất Top-k · giữ k token cao nhất · Cắt bớt ứng viên › Thành xác suất Top-k giữ k token cao nhất Top-p · giữ khối xác suất p · Cắt bớt ứng viên › Chọn và lặp Top-p giữ khối xác suất p Sampling · bốc 1 token · Chọn token › Chọn và lặp Sampling bốc 1 token Next token · nối vào chuỗi · Chọn token › Chọn và lặp Next token nối vào chuỗi Dừng sinh · EOS / max / stop seq · Điều kiện dừng › Chọn và lặp · stop sequence Dừng sinh EOS / max / stop seq stop sequence phạt token đã ra chia cho T gặp EOS chưa phân phối đã cắt chưa dừng, lặp tiếp phân phối đầy đủ k ứng viên bốc theo xác suất logits đã chỉnh Legend Biến đổi logits Lọc và điều kiện dừng Bước xác suất Token đầu ra