Embedding là điểm vào của residual stream

Embedding là điểm vào của residual stream An architecture diagram generated by Archify. E[id] cộng vị trí · vector ở lớp 0 · Architecture component E[id] cộng vị trí vector ở lớp 0 Residual stream · băng thông chung, d chiều · Architecture component · mọi block dùng chung Residual stream băng thông chung, d chiều mọi block dùng chung Final norm · chuẩn hoá trước khi ra · Architecture component Final norm chuẩn hoá trước khi ra Attention block · đọc, rồi cộng thêm vào · Architecture component Attention block đọc, rồi cộng thêm vào MLP block · đọc, rồi cộng thêm vào · Architecture component MLP block đọc, rồi cộng thêm vào Unembedding · quay về V chiều · Architecture component Unembedding quay về V chiều d không đổi suốt model · vào bao nhiêu chiều, ra bấy nhiêu · Architecture component d không đổi suốt model vào bao nhiêu chiều, ra bấy nhiêu giá trị khởi đầu cộng thêm vào cộng thêm vào sau block cuối nhân ma trận ra vào và ra cùng d chiều Legend Backend Database Cloud Message bus

Residual stream là một băng thông dùng chung

  • • Mỗi vị trí giữ đúng một vector d chiều xuyên suốt model
  • • Block không thay thế vector đó, chúng cộng thêm vào nó
  • • Vì vậy embedding ban đầu vẫn còn dấu vết ở những lớp sau

Đây là lý do d xuất hiện ở mọi nơi

  • • Attention và MLP đều nhận d chiều và trả về d chiều
  • • Bảng E phải có đúng d cột thì mới cộng vào được
  • • Đổi d nghĩa là đổi gần như toàn bộ hình dạng của model

Vector ở lớp cuối không còn là vector của token đó

  • • Sau nhiều lần cộng, nó mang thông tin của cả ngữ cảnh
  • • Nó được dùng để đoán token kế tiếp, không phải để mô tả token hiện tại
  • • Đọc nó như embedding của token đang đứng đó là hiểu sai