Residual stream: bus chung mà mọi sub-layer đọc từ đó và ghi vào đó

Residual stream: bus chung mà mọi sub-layer đọc từ đó và ghi vào đó A workflow diagram generated by Archify. 01 / Sub-layer 1: attention 02 / Residual stream, luôn d_model chiều 03 / Sub-layer 2: FFN Norm → Attention · trộn thông tin giữa token · Sub-layer 1: attention Norm → Attention trộn thông tin giữa token Embedding x₀ · 4096 chiều với Llama 3 8B · Residual stream, luôn d_model chiều Embedding x₀ 4096 chiều với Llama 3 8B x₁ = x₀ + Attn(…) · attention đã ghi thêm · Residual stream, luôn d_model chiều x₁ = x₀ + Attn(…) attention đã ghi thêm x₂ = x₁ + FFN(…) · hết một block · Residual stream, luôn d_model chiều x₂ = x₁ + FFN(…) hết một block Block 2 … 32 · rồi final norm, lm_head · Residual stream, luôn d_model chiều Block 2 … 32 rồi final norm, lm_head Norm → FFN · xử lý riêng từng token · Sub-layer 2: FFN Norm → FFN xử lý riêng từng token đọc đọc đi thẳng đi thẳng ghi (cộng) ghi (cộng) Legend sub-layer đọc rồi ghi trạng thái của residual stream các block phía sau