FFN như bộ nhớ key–value, đặt cạnh attention

FFN như bộ nhớ key–value, đặt cạnh attention A workflow diagram generated by Archify. 01 / Attention: key, value đến từ các token khác 02 / FFN: key, value là tham số cố định Query q · chiếu từ token hiện tại · Attention: key, value đến từ các token khác Query q chiếu từ token hiện tại q · Kᵀ · K của các token khác · Attention: key, value đến từ các token khác q · Kᵀ K của các token khác softmax · trọng số, tổng bằng 1 · Attention: key, value đến từ các token khác softmax trọng số, tổng bằng 1 · V · trộn value của context · Attention: key, value đến từ các token khác · V trộn value của context Hidden state x · một token, d_model chiều · FFN: key, value là tham số cố định Hidden state x một token, d_model chiều x · K · so với d_ff key · FFN: key, value là tham số cố định · K = W_in x · K so với d_ff key K = W_in f(·) · ReLU, GELU: giữ key khớp · FFN: key, value là tham số cố định f(·) ReLU, GELU: giữ key khớp · V · cộng các value được bật · FFN: key, value là tham số cố định · V = W_out · V cộng các value được bật V = W_out Ghi vào stream · đẩy xác suất một nhóm token · FFN: key, value là tham số cố định Ghi vào stream đẩy xác suất một nhóm token khớp cũng ghi vào stream khớp độ khớp hệ số Legend query từ token các bước tính residual stream key và value là tham số