Bảng embedding: V hàng, d cột, và phần tham số nó chiếm

Bảng embedding: V hàng, d cột, và phần tham số nó chiếm An architecture diagram generated by Archify. Vocabulary · V = 128.000 token · Architecture component Vocabulary V = 128.000 token Ma trận E · V hàng × d cột · Architecture component · tham số học được Ma trận E V hàng × d cột tham số học được Chiều model · d = 4.096 · Architecture component Chiều model d = 4.096 Một hàng E[id] · vector của đúng một token · Architecture component Một hàng E[id] vector của đúng một token V × d tham số · ≈ 524 triệu số thực · Architecture component V × d tham số ≈ 524 triệu số thực Lúc khởi tạo · toàn số ngẫu nhiên, chưa mang nghĩa · Architecture component Lúc khởi tạo toàn số ngẫu nhiên, chưa mang nghĩa Tỷ lệ trong tổng tham số · lớn ở model nhỏ, nhỏ dần khi thêm layer · Architecture component Tỷ lệ trong tổng tham số lớn ở model nhỏ, nhỏ dần khi thêm layer quyết định số hàng quyết định số cột tra theo token ID nhân hai chiều lại trước khi train so với phần còn lại của model Legend Backend Database Cloud Security Message bus External

Hai con số quyết định toàn bộ bảng

  • • V đến từ tokenizer, và đã bị chốt trước khi training bắt đầu
  • • d là chiều của residual stream, dùng chung cho mọi layer
  • • Đổi tokenizer nghĩa là đổi V, nghĩa là bảng cũ không dùng lại được

Embedding không nhỏ như cảm giác

  • • Với V = 128.000 và d = 4.096, riêng bảng vào đã hơn 500 triệu tham số
  • • Ở model vài trăm triệu tham số, embedding có thể chiếm phần lớn
  • • Ở model hàng chục tỷ, tỷ lệ đó tụt xuống vì layer chiếm ưu thế

Không có gì ngữ nghĩa được nạp sẵn

  • • E khởi tạo ngẫu nhiên, giống mọi ma trận weight khác
  • • Cấu trúc trong không gian là thứ gradient tạo ra, không phải cho trước
  • • Vì vậy nói model biết nghĩa của từ trước khi train là sai