Attention là một phép tra cứu mềm theo nội dung

Attention là một phép tra cứu mềm theo nội dung A workflow diagram generated by Archify. 01 / Query — tôi tìm gì 02 / Key — tôi có hợp không 03 / Value — tôi gửi gì đi Query q_i · token i đang tìm gì · Query — tôi tìm gì Query q_i token i đang tìm gì Output o_i · vector mới của token i · Query — tôi tìm gì Output o_i vector mới của token i Key k_j · tiêu chí để được tìm ra · Key — tôi có hợp không Key k_j tiêu chí để được tìm ra Điểm q_i · k_j · mức độ phù hợp · Key — tôi có hợp không Điểm q_i · k_j mức độ phù hợp Softmax thành α · phân phối trên mọi Key · Key — tôi có hợp không Softmax thành α phân phối trên mọi Key Value v_j · nội dung thật sẽ gửi đi · Value — tôi gửi gì đi Value v_j nội dung thật sẽ gửi đi Tổng α_j nhân v_j · hỗn hợp có trọng số · Value — tôi gửi gì đi Tổng α_j nhân v_j hỗn hợp có trọng số nội dung thật so khớp tích vô hướng chuẩn hoá trọng số α trả về token i Legend Agent logic Tool action Context / trace Cloud service External system

Khác database ở chỗ không chọn đúng một Key

  • • Database khớp một Key rồi trả đúng một Value
  • • Attention khớp mọi Key ở những mức độ khác nhau
  • • Không liên quan thì trọng số gần 0, chứ không bị loại hẳn

Key và Value cố tình tách làm hai

  • • Key quyết định mức độ liên quan
  • • Value là nội dung thật sự được tổng hợp
  • • Model học một không gian để khớp và một không gian để truyền

Truy cập theo nội dung, không theo địa chỉ

  • • Không có chỉ mục cố định nào được tra ở đây
  • • Cái quyết định là Query và Key biểu diễn gì
  • • Đây là lý do attention được gọi là content-addressable