Một token đi qua Self-Attention như thế nào

Một token đi qua Self-Attention như thế nào A data-flow diagram generated by Archify. 01 / Vào layer 02 / Ba phép chiếu 03 / Tính điểm 04 / Trọng số 05 / Ra khỏi head Hidden states X · n vị trí, mỗi vị trí d_model số · 01 / Vào layer · đã có token và vị trí Hidden states X n vị trí, mỗi vị trí d_model số đã có token và vị trí Vector tĩnh không đủ · bank account khác river bank · 01 / Vào layer Vector tĩnh không đủ bank account khác river bank Q, K, V · Q = XW_Q, K = XW_K, V = XW_V · 02 / Ba phép chiếu Q, K, V Q = XW_Q, K = XW_K, V = XW_V Q, K, V không lưu sẵn · sinh ra từ hidden state · 02 / Ba phép chiếu · W_Q, W_K, W_V học được Q, K, V không lưu sẵn sinh ra từ hidden state W_Q, W_K, W_V học được QKᵀ chia √d_k · ma trận n × n mọi cặp token · 03 / Tính điểm QKᵀ chia √d_k ma trận n × n mọi cặp token Mask cộng trước softmax · ô bị cấm nhận trừ vô cùng · 03 / Tính điểm · tương lai và ô đệm Mask cộng trước softmax ô bị cấm nhận trừ vô cùng tương lai và ô đệm Softmax theo từng hàng · mỗi hàng cộng lại bằng 1 · 04 / Trọng số Softmax theo từng hàng mỗi hàng cộng lại bằng 1 Không chọn một token · trọng số trải trên nhiều Key · 04 / Trọng số Không chọn một token trọng số trải trên nhiều Key O = A nhân V · vector mới đã mang ngữ cảnh · 05 / Ra khỏi head · hỗn hợp có trọng số O = A nhân V vector mới đã mang ngữ cảnh hỗn hợp có trọng số chiếu sang ba không gian so Query với mọi Key điểm thành trọng số trộn Value theo trọng số vì sao cần attention ba vai trò khác nhau chặn trước khi chuẩn hoá output là hỗn hợp Legend primary data data store data flow

Attention trả lời câu hỏi mà embedding không trả lời được

  • • Embedding nói token này là gì khi đứng một mình
  • • Self-Attention nói token này nghĩa gì trong câu đang xét
  • • Cùng một token ở hai câu khác nhau cho ra hai vector khác nhau

Bốn bước, không hơn

  • • QKᵀ hỏi ai liên quan tới ai
  • • Chia căn d_k giữ thang điểm ổn định cho softmax
  • • Softmax quyết định mỗi nguồn quan trọng bao nhiêu
  • • Nhân V lấy thông tin thật từ những nguồn đó

Một lượt attention không phải là toàn bộ model

  • • Sau head còn concat, W_O, residual, norm và MLP
  • • Một LLM xếp chồng hàng chục tới hàng trăm block như vậy
  • • Hiểu ngữ cảnh là kết quả của nhiều vòng, không phải một phép tính