Từ vector cuối cùng trở lại phân bố trên vocabulary

Từ vector cuối cùng trở lại phân bố trên vocabulary A data-flow diagram generated by Archify. 01 / Vector cuối 02 / Ma trận ra 03 / Điểm thô 04 / Chuẩn hoá 05 / Token kế tiếp Vector ở lớp cuối · d chiều, đã có ngữ cảnh · 01 / Vector cuối Vector ở lớp cuối d chiều, đã có ngữ cảnh Không phải E[id] · khác hẳn vector đầu vào · 01 / Vector cuối Không phải E[id] khác hẳn vector đầu vào Nhân ma trận ra · kích thước d × V · 02 / Ma trận ra Nhân ma trận ra kích thước d × V Có thể dùng lại E · gọi là weight tying · 02 / Ma trận ra Có thể dùng lại E gọi là weight tying Logits · một số cho mỗi token · 03 / Điểm thô Logits một số cho mỗi token Bản chất là tích vô hướng · vector cuối với từng hàng · 03 / Điểm thô Bản chất là tích vô hướng vector cuối với từng hàng Softmax · thành phân bố xác suất · 04 / Chuẩn hoá Softmax thành phân bố xác suất Temperature, top-k, top-p · can thiệp đúng ở đây · 04 / Chuẩn hoá Temperature, top-k, top-p can thiệp đúng ở đây Token kế tiếp · lại thành một ID · 05 / Token kế tiếp · khép vòng lặp Token kế tiếp lại thành một ID khép vòng lặp vector d chiều V số thực điểm chưa chuẩn hoá lấy mẫu theo xác suất đừng lẫn hai thứ khi buộc chung tham số vì sao gần thì điểm cao quyết định độ ngẫu nhiên Legend primary data data store data flow

Unembedding đưa vector về lại không gian token

  • • Embedding đi từ V chiều rời rạc xuống d chiều liên tục
  • • Unembedding đi ngược lại, từ d chiều lên V điểm số
  • • Hai đầu của model đều là phép chuyển đổi giữa hai không gian đó

Logit là tích vô hướng, nên hình học có ý nghĩa trực tiếp

  • • Điểm của token i là tích của vector cuối với hàng thứ i
  • • Vector cuối càng cùng hướng với một hàng thì token đó điểm càng cao
  • • Sinh văn bản vì vậy là bài toán tìm hàng gần nhất theo hướng

Sampling nằm sau bước này, không nằm trong model

  • • Model chỉ trả về logits, nó không tự chọn token
  • • Temperature, top-k và top-p đều thao tác trên phân bố đã có
  • • Đổi cách sampling không đổi một tham số nào của model