Một token đi qua layer MoE và những chỗ dễ hiểu sai

Một token đi qua layer MoE và những chỗ dễ hiểu sai A workflow diagram generated by Archify. EX / Hiểu lầm về router và expert 02 / Một token qua một layer (chính) 03 / Cơ chế đi kèm EX / Hiểu lầm về bộ nhớ, batch và SSM Mamba đã thay Transformer · hybrid vẫn giữ attention · Hiểu lầm về router và expert Mamba đã thay Transformer hybrid vẫn giữ attention Router chọn cả câu · chọn theo token, layer · Hiểu lầm về router và expert Router chọn cả câu chọn theo token, layer Tốc độ = phần kích hoạt · chỉ đúng ở batch nhỏ · Hiểu lầm về router và expert Tốc độ = phần kích hoạt chỉ đúng ở batch nhỏ Expert theo chủ đề · bám cú pháp, vị trí · Hiểu lầm về router và expert Expert theo chủ đề bám cú pháp, vị trí 47B nhẹ như 13B · VRAM vẫn chứa 47B · Hiểu lầm về router và expert 47B nhẹ như 13B VRAM vẫn chứa 47B Attention · giữ nguyên như dense · Một token qua một layer (chính) Attention giữ nguyên như dense Router · softmax(x·W_r), mỗi token · Một token qua một layer (chính) Router softmax(x·W_r), mỗi token Top-k và gate · giữ k expert, chuẩn hoá · Một token qua một layer (chính) Top-k và gate giữ k expert, chuẩn hoá Dispatch · all-to-all nếu chia GPU · Một token qua một layer (chính) Dispatch all-to-all nếu chia GPU k expert FFN · chỉ k trong E chạy · Một token qua một layer (chính) k expert FFN chỉ k trong E chạy Combine + residual · cộng theo trọng số gate · Một token qua một layer (chính) Combine + residual cộng theo trọng số gate KV cache · tăng theo độ dài context · Cơ chế đi kèm KV cache tăng theo độ dài context Cân bằng tải · aux loss hoặc bias · Cơ chế đi kèm Cân bằng tải aux loss hoặc bias Expert đầy · token bị drop · Cơ chế đi kèm Expert đầy token bị drop SSM nhớ vô hạn · state cố định, nén mất · Hiểu lầm về bộ nhớ, batch và SSM SSM nhớ vô hạn state cố định, nén mất MoE giảm KV cache · MoE chỉ thay FFN · Hiểu lầm về bộ nhớ, batch và SSM MoE giảm KV cache MoE chỉ thay FFN Cân bằng chỉ để công bằng · chống sụp, chia GPU đều · Hiểu lầm về bộ nhớ, batch và SSM Cân bằng chỉ để công bằng chống sụp, chia GPU đều Không phụ thuộc batch · capacity có thể drop · Hiểu lầm về bộ nhớ, batch và SSM Không phụ thuộc batch capacity có thể drop ghi K, V đếm tải chỉ qua residual Legend bước tính toán nhánh token bị drop router và điều phối token bộ nhớ: KV cache chỗ dễ hiểu sai