Self-Attention nằm ở đâu trong một Transformer block

Self-Attention nằm ở đâu trong một Transformer block A workflow diagram generated by Archify. 01 / Một Transformer block 02 / Thứ attention không tự biết Self-Attention · trộn giữa các vị trí · Một Transformer block Self-Attention trộn giữa các vị trí Residual và Norm · giữ đường truyền thẳng · Một Transformer block Residual và Norm giữ đường truyền thẳng MLP hay FFN · biến đổi tại từng vị trí · Một Transformer block MLP hay FFN biến đổi tại từng vị trí Residual và Norm · kiểm soát scale · Một Transformer block Residual và Norm kiểm soát scale Sang block sau · lặp lại nhiều lần · Một Transformer block Sang block sau lặp lại nhiều lần Không biết thứ tự · câu bị coi như một tập · Thứ attention không tự biết Không biết thứ tự câu bị coi như một tập Cách đưa vị trí vào · sinusoidal · RoPE · Thứ attention không tự biết Cách đưa vị trí vào sinusoidal · RoPE thiếu một thứ cách bù lại output head đi tiếp đã biến đổi states ra Legend Agent logic Policy Tool action Cloud service External system

Bốn phần, bốn việc khác nhau

  • • Attention trao đổi thông tin giữa các vị trí
  • • MLP biến đổi feature tại từng vị trí một cách độc lập
  • • Residual giữ một đường truyền thẳng xuyên qua layer
  • • Normalization kiểm soát scale để tối ưu ổn định hơn

Self-Attention thuần tuý mù thứ tự

  • • Phép attention dựa trên nội dung, không dựa trên chỉ số
  • • Không có tín hiệu vị trí thì đảo từ vẫn ra cùng kết quả
  • • Vị trí phải được đưa vào representation hoặc vào chính attention

Hiểu ngữ cảnh không xảy ra trong một lượt

  • • Một LLM xếp chồng nhiều block giống nhau
  • • Mỗi vòng là một lần communication rồi transformation
  • • Thứ tự Pre-Norm hay Post-Norm có thể khác bản gốc, ý tưởng thì không