Buộc chung ma trận vào và ma trận ra

Buộc chung ma trận vào và ma trận ra An architecture diagram generated by Archify. Bảng vào E · kích thước V × d · Architecture component Bảng vào E kích thước V × d Các block · d chiều xuyên suốt · Architecture component Các block d chiều xuyên suốt Bảng ra U · kích thước d × V · Architecture component Bảng ra U kích thước d × V Để tách riêng · hai bộ tham số độc lập · Architecture component Để tách riêng hai bộ tham số độc lập Buộc chung U bằng E chuyển vị · dùng lại đúng một ma trận · Architecture component · weight tying Buộc chung U bằng E chuyển vị dùng lại đúng một ma trận weight tying Đánh đổi · ít tham số hơn, ràng buộc chặt hơn · Architecture component Đánh đổi ít tham số hơn, ràng buộc chặt hơn vector đầu vào vector ở lớp cuối lựa chọn thứ nhất lựa chọn thứ hai tự do hơn gọn hơn Legend Backend Database Cloud Security Message bus

Hai bảng nằm ở hai đầu và có cùng hình dạng

  • • E ánh xạ token ID thành vector d chiều
  • • U ánh xạ vector d chiều thành V điểm số
  • • Vì hình dạng khớp nhau nên có thể dùng chung một ma trận

Buộc chung tiết kiệm đúng V × d tham số

  • • Với V = 128.000 và d = 4.096, đó là hơn 500 triệu số
  • • Ở model nhỏ, khoản này là phần đáng kể của tổng tham số
  • • Ở model rất lớn, nhiều recipe lại chọn tách riêng trở lại

Cái giá là hai vai trò bị ép dùng chung một biểu diễn

  • • Hàng của E trả lời: token này trông như thế nào khi đi vào
  • • Hàng của U trả lời: khi nào nên sinh ra token này
  • • Hai câu hỏi đó không hoàn toàn giống nhau