Bốn kiểu xếp layer: thứ gì tăng theo context, thứ gì cố định

Bốn kiểu xếp layer: thứ gì tăng theo context, thứ gì cố định A workflow diagram generated by Archify. 01 / Dense Transformer (Llama 3.1 8B) 02 / MoE Transformer (Mixtral, DeepSeek-V3) 03 / SSM thuần (Mamba) 04 / Hybrid (Jamba, Qwen3-Next, Nemotron) KV cache · mọi layer, tăng theo n · Dense Transformer (Llama 3.1 8B) KV cache mọi layer, tăng theo n Attention · ở mọi layer · Dense Transformer (Llama 3.1 8B) Attention ở mọi layer FFN dense · mọi tham số đều chạy · Dense Transformer (Llama 3.1 8B) FFN dense mọi tham số đều chạy KV cache · như dense · MoE Transformer (Mixtral, DeepSeek-V3) KV cache như dense Attention · ở mọi layer · MoE Transformer (Mixtral, DeepSeek-V3) Attention ở mọi layer MoE FFN · k trong E expert chạy · MoE Transformer (Mixtral, DeepSeek-V3) MoE FFN k trong E expert chạy State · cố định, không theo n · SSM thuần (Mamba) State cố định, không theo n Mamba block · ở mọi layer · SSM thuần (Mamba) Mamba block ở mọi layer MLP (tuỳ model) · dense hoặc MoE · SSM thuần (Mamba) MLP (tuỳ model) dense hoặc MoE KV cache nhỏ · chỉ ở layer attention · Hybrid (Jamba, Qwen3-Next, Nemotron) KV cache nhỏ chỉ ở layer attention Attention · 1 trên 4–8 layer · Hybrid (Jamba, Qwen3-Next, Nemotron) Attention 1 trên 4–8 layer Mamba / DeltaNet · các layer còn lại · Hybrid (Jamba, Qwen3-Next, Nemotron) Mamba / DeltaNet các layer còn lại MoE FFN · thường là MoE · Hybrid (Jamba, Qwen3-Next, Nemotron) MoE FFN thường là MoE State · cố định mỗi layer SSM · Hybrid (Jamba, Qwen3-Next, Nemotron) State cố định mỗi layer SSM ghi K, V ghi K, V cập nhật ghi K, V cập nhật Legend FFN hoặc MoE attention SSM hoặc linear attention KV cache: tăng theo độ dài context state: kích thước cố định