Từ token ID đến vector, và quay lại vocabulary

Từ token ID đến vector, và quay lại vocabulary A data-flow diagram generated by Archify. 01 / Số nguyên 02 / Tra bảng 03 / Thêm vị trí 04 / Trong model 05 / Trở lại token Token ID · [8812, 13, 7021, ...] · 01 / Số nguyên · chỉ là chỉ mục Token ID [8812, 13, 7021, ...] chỉ là chỉ mục ID không mang ý nghĩa · ID 5 không gần ID 6 · 01 / Số nguyên ID không mang ý nghĩa ID 5 không gần ID 6 Tra bảng embedding · E[id] → vector d chiều · 02 / Tra bảng Tra bảng embedding E[id] → vector d chiều Ma trận E kích thước V × d · tham số học được như mọi weight · 02 / Tra bảng · một hàng cho mỗi token Ma trận E kích thước V × d tham số học được như mọi weight một hàng cho mỗi token Đưa vị trí vào · learned · sinusoidal · RoPE · 03 / Thêm vị trí Đưa vị trí vào learned · sinusoidal · RoPE Nếu thiếu vị trí · attention coi câu như một tập hợp · 03 / Thêm vị trí · đảo thứ tự vẫn ra kết quả cũ Nếu thiếu vị trí attention coi câu như một tập hợp đảo thứ tự vẫn ra kết quả cũ Residual stream · mỗi block đọc rồi cộng thêm vào · 04 / Trong model · vector bị viết lại dần Residual stream mỗi block đọc rồi cộng thêm vào vector bị viết lại dần Vector theo ngữ cảnh · cùng token, khác vector · 04 / Trong model Vector theo ngữ cảnh cùng token, khác vector Logits trên vocabulary · unembedding rồi softmax · 05 / Trở lại token · về lại không gian token Logits trên vocabulary unembedding rồi softmax về lại không gian token dùng ID làm số hàng vector tĩnh của token vector đầu vào lớp 0 vector ở lớp cuối vì sao phải tra bảng mỗi hàng là một token lý do phải cộng vị trí đã mang thông tin xung quanh Legend primary data data store data flow

Embedding là cửa vào duy nhất của model

  • • Transformer không bao giờ nhìn thấy chuỗi ký tự
  • • Nó nhận một ma trận số thực, mỗi vị trí một vector d chiều
  • • Bảng E là tham số, nên nó được học chứ không phải tra cứu cố định

Thứ tự phải được cộng vào một cách tường minh

  • • Self-attention không phân biệt vị trí nếu không được cho biết
  • • Không có tín hiệu vị trí thì đảo từ trong câu cho ra cùng kết quả
  • • Learned, sinusoidal và RoPE là ba cách khác nhau để đưa nó vào

Vector đầu vào và vector đầu ra không cùng loại

  • • E[id] là vector tĩnh, chỉ phụ thuộc token đó
  • • Vector ở lớp cuối phụ thuộc toàn bộ ngữ cảnh đứng trước
  • • Gọi cả hai là embedding là nguồn gốc của phần lớn nhầm lẫn