Ba cách đặt norm quanh một sub-layer

Ba cách đặt norm quanh một sub-layer A workflow diagram generated by Archify. 01 / Post-LN: Transformer 2017, BERT 02 / Pre-LN: GPT-2, Llama, Qwen 03 / Norm trước và sau: Gemma 2 x · vào sub-layer · Post-LN: Transformer 2017, BERT x vào sub-layer Sub-layer · Attn hoặc FFN · Post-LN: Transformer 2017, BERT Sub-layer Attn hoặc FFN x + Sub(x) · cộng residual · Post-LN: Transformer 2017, BERT x + Sub(x) cộng residual LayerNorm · nằm trên stream · Post-LN: Transformer 2017, BERT LayerNorm nằm trên stream x · vào sub-layer · Pre-LN: GPT-2, Llama, Qwen x vào sub-layer RMSNorm · chỉ ở nhánh · Pre-LN: GPT-2, Llama, Qwen RMSNorm chỉ ở nhánh Sub-layer · Attn hoặc FFN · Pre-LN: GPT-2, Llama, Qwen Sub-layer Attn hoặc FFN x + Sub(Norm(x)) · stream không bị chuẩn hoá · Pre-LN: GPT-2, Llama, Qwen x + Sub(Norm(x)) stream không bị chuẩn hoá x · vào sub-layer · Norm trước và sau: Gemma 2 x vào sub-layer RMSNorm · chuẩn hoá input · Norm trước và sau: Gemma 2 RMSNorm chuẩn hoá input Sub-layer · Attn hoặc FFN · Norm trước và sau: Gemma 2 Sub-layer Attn hoặc FFN RMSNorm · chuẩn hoá output · Norm trước và sau: Gemma 2 RMSNorm chuẩn hoá output x + Norm(Sub(…)) · cộng residual · Norm trước và sau: Gemma 2 x + Norm(Sub(…)) cộng residual residual đi thẳng chuẩn hoá cả stream residual residual đi thẳng Legend sub-layer: attention hoặc FFN norm residual stream phép cộng residual