SwiGLU FFN của Llama 3 8B: ba ma trận, một cổng

SwiGLU FFN của Llama 3 8B: ba ma trận, một cổng A workflow diagram generated by Archify. 01 / Nhánh gate: quyết định giữ bao nhiêu 02 / Nhánh up rồi down: nội dung được ghi x · W_gate · 4096 → 14336 · Nhánh gate: quyết định giữ bao nhiêu x · W_gate 4096 → 14336 SiLU · z · σ(z) · Nhánh gate: quyết định giữ bao nhiêu SiLU z · σ(z) x sau RMSNorm · 4096 chiều · Nhánh up rồi down: nội dung được ghi x sau RMSNorm 4096 chiều x · W_up · 4096 → 14336 · Nhánh up rồi down: nội dung được ghi x · W_up 4096 → 14336 ⊙ từng phần tử · 14336 chiều · Nhánh up rồi down: nội dung được ghi ⊙ từng phần tử 14336 chiều · W_down · 14336 → 4096 · Nhánh up rồi down: nội dung được ghi · W_down 14336 → 4096 Cộng vào stream · 4096 chiều · Nhánh up rồi down: nội dung được ghi Cộng vào stream 4096 chiều cổng nội dung Legend phép tính không có tham số residual stream ma trận trọng số