Vì sao self-attention phải được cho biết vị trí

Vì sao self-attention phải được cho biết vị trí A data-flow diagram generated by Archify. 01 / Câu vào 02 / Chỉ có token 03 / Thêm vị trí 04 / Attention 05 / Kết quả Câu có thứ tự · mèo đuổi chuột · 01 / Câu vào Câu có thứ tự mèo đuổi chuột Câu bị đảo · chuột đuổi mèo · 01 / Câu vào Câu bị đảo chuột đuổi mèo Embedding token · chỉ phụ thuộc ID · 02 / Chỉ có token Embedding token chỉ phụ thuộc ID Thành một tập hợp · thứ tự biến mất · 02 / Chỉ có token · hoán vị bất biến Thành một tập hợp thứ tự biến mất hoán vị bất biến Cộng tín hiệu vị trí · learned · sinusoidal · RoPE · 03 / Thêm vị trí Cộng tín hiệu vị trí learned · sinusoidal · RoPE Nếu bỏ qua bước này · hai câu cho cùng kết quả · 03 / Thêm vị trí Nếu bỏ qua bước này hai câu cho cùng kết quả Self-attention · query gặp key đã có vị trí · 04 / Attention Self-attention query gặp key đã có vị trí Khoảng cách tương đối · cái RoPE thật sự mã hoá · 04 / Attention Khoảng cách tương đối cái RoPE thật sự mã hoá Phân biệt được thứ tự · hai câu ra hai kết quả · 05 / Kết quả · vị trí là thông tin thật Phân biệt được thứ tự hai câu ra hai kết quả vị trí là thông tin thật token theo thứ tự vector chưa có vị trí vector đã có vị trí kết quả theo thứ tự cùng tập token vì sao phải cộng hậu quả nếu bỏ qua cách làm hiện đại Legend primary data data store data flow

Attention không có khái niệm thứ tự

  • • Nó tính điểm giữa từng cặp query và key, không quan tâm ai đứng trước
  • • Đảo thứ tự đầu vào chỉ đảo thứ tự đầu ra, giá trị không đổi
  • • Đây là tính chất toán học của phép tính, không phải lỗi cài đặt

Vì vậy vị trí phải được cộng vào một cách tường minh

  • • Kiến trúc RNN có thứ tự sẵn vì nó đọc tuần tự từng bước
  • • Transformer đọc mọi vị trí cùng lúc nên phải được cho biết
  • • Không có bước này, mèo đuổi chuột và chuột đuổi mèo là một

Cái thật sự cần là khoảng cách, không phải chỉ số

  • • Quan hệ giữa hai token phụ thuộc chúng cách nhau bao xa
  • • Vị trí tuyệt đối 5 và 6 không quan trọng bằng việc chúng liền nhau
  • • Các cách mã hoá hiện đại đều xoay quanh nhận xét này