Scaled Dot-Product Attention, đi qua công thức từng bước

Scaled Dot-Product Attention, đi qua công thức từng bước A workflow diagram generated by Archify. 01 / Bốn bước của công thức 02 / Vì sao cần bước đó QKᵀ · s_ij = q_i · k_j · Bốn bước của công thức · ma trận n × n QKᵀ s_ij = q_i · k_j ma trận n × n Chia căn d_k · d_k = 4 nên chia 2 · Bốn bước của công thức Chia căn d_k d_k = 4 nên chia 2 Cộng mask · ô bị cấm nhận trừ vô cùng · Bốn bước của công thức Cộng mask ô bị cấm nhận trừ vô cùng Softmax theo hàng · 0.29 · 0.53 · 0.18 · Bốn bước của công thức Softmax theo hàng 0.29 · 0.53 · 0.18 Nhân V · o = tổng α_j nhân v_j · Bốn bước của công thức · 0.473 · 1.238 Nhân V o = tổng α_j nhân v_j 0.473 · 1.238 Variance tăng theo d_k · score lớn làm softmax gắt · Vì sao cần bước đó Variance tăng theo d_k score lớn làm softmax gắt Mỗi hàng là phân phối · α không âm, tổng bằng 1 · Vì sao cần bước đó Mỗi hàng là phân phối α không âm, tổng bằng 1 vì sao phải chia softmax cho ra gì điểm thô đã ổn định thang chỉ còn ô hợp lệ trọng số α Legend Agent logic Policy Tool action Cloud service External system

Bốn bước, đọc thành bốn câu hỏi

  • • QKᵀ hỏi ai liên quan tới ai
  • • Chia căn d_k giữ thang điểm không bị thổi phồng
  • • Softmax quyết định mỗi nguồn nặng bao nhiêu
  • • Nhân V lấy thông tin thật từ những nguồn đó

Căn d_k không phải hằng số tuỳ ý

  • • Tích vô hướng của d_k số có variance tăng theo d_k
  • • Score quá lớn đẩy softmax về phân phối cực đoan
  • • Khi đó gradient ở phần lớn vị trí gần như bằng 0

Output là hỗn hợp, không phải bản sao

  • • Với trọng số 0.289, 0.527 và 0.184 trên ba Value
  • • Kết quả không trùng với bất kỳ v_j nào
  • • Đó là điểm khác căn bản giữa attention và phép chọn cứng