Q, K, V đến từ đâu: ba phép chiếu tuyến tính học được Diagram

Không có ba bảng embedding riêng cho Q, K và V

• Chỉ có một hidden state và ba ma trận trọng số
• Q, K, V được tính lại mỗi lần model chạy
• Ở layer sâu, X đã là hidden state có ngữ cảnh chứ không phải embedding gốc

Ba ma trận này là tham số, không phải quy ước

• Không ai lập trình rằng Q là chủ ngữ hay K là động từ
• Gradient descent chỉnh chúng theo objective của model
• Vai trò trong sơ đồ là cách diễn giải, không phải ràng buộc

Vì thế đừng đọc một head quá cứng nhắc

• Một số head có pattern dễ diễn giải trên vài input
• Nhưng vai trò đó là emergent, không được kiến trúc đặt ra
• Cùng một chức năng có thể phân tán qua nhiều head và nhiều layer