Attention: một token được tính như thế nào

Attention: một token được tính như thế nào A data-flow diagram generated by Archify. 01 / Token đầu vào 02 / Chiếu Q / K / V 03 / Điểm tương quan 04 / Trọng số attention 05 / Biểu diễn đầu ra Hidden state · vector token + vị trí · 01 / Token đầu vào Hidden state vector token + vị trí Query (Q) · token này hỏi gì · 02 / Chiếu Q / K / V Query (Q) token này hỏi gì Key (K) · cái để so khớp · 02 / Chiếu Q / K / V Key (K) cái để so khớp Value (V) · nội dung mang đi · 02 / Chiếu Q / K / V Value (V) nội dung mang đi Điểm tương quan · QK^T / sqrt(d_k) · 03 / Điểm tương quan · decoder mask ở đây Điểm tương quan QK^T / sqrt(d_k) decoder mask ở đây Softmax · trọng số 0..1 · 04 / Trọng số attention Softmax trọng số 0..1 Multi-Head · concat n head, nhân W_O · 05 / Biểu diễn đầu ra · mỗi head một quan hệ Multi-Head concat n head, nhân W_O mỗi head một quan hệ nhân W_Q nhân W_K nhân W_V so với mọi Key truy vấn khoá so khớp đối chiếu thành phân phối trọng số cộng V theo w tổng hợp nội dung của V nội dung Legend Đường đi chính Nhánh phụ trợ