Self-Attention và Cross-Attention khác nhau ở nguồn của Q, K, V Diagram

Self không có nghĩa là token chỉ nhìn chính nó

• Self nói về nguồn của Q, K, V, không nói về phạm vi nhìn
• Một token vẫn attention sang mọi token khác trong chuỗi
• Cái giới hạn phạm vi là mask, không phải chữ self

Ba biến thể hay gặp

• Encoder self-attention thường nhìn toàn bộ sequence
• Decoder causal self-attention chỉ nhìn hiện tại và quá khứ
• Cross-attention lấy Q từ một stream, K và V từ stream kia

LLM decoder-only dùng biến thể nào

• GPT và các model cùng họ chạy causal self-attention
• Q, K, V cùng đến từ chuỗi token đang xử lý
• Cross-attention xuất hiện khi có một nguồn thứ hai để đọc