Ba cách router chọn expert: sụp, aux loss và bias không cần loss

Ba cách router chọn expert: sụp, aux loss và bias không cần loss A workflow diagram generated by Archify. 01 / Không cân bằng: router sụp 02 / Auxiliary loss (Switch Transformer) 03 / Bias không cần loss (DeepSeek-V3) Router · chỉ có gradient LM loss · Không cân bằng: router sụp Router chỉ có gradient LM loss Top-k · chọn điểm cao nhất · Không cân bằng: router sụp Top-k chọn điểm cao nhất Vài expert quen · nhận phần lớn token · Không cân bằng: router sụp Vài expert quen nhận phần lớn token Học nhanh hơn · loss thấp hơn ở đó · Không cân bằng: router sụp Học nhanh hơn loss thấp hơn ở đó Router · gradient LM + aux · Auxiliary loss (Switch Transformer) Router gradient LM + aux Top-k · theo xác suất p_i · Auxiliary loss (Switch Transformer) Top-k theo xác suất p_i Đếm f_i và P_i · tỉ lệ token, xác suất TB · Auxiliary loss (Switch Transformer) Đếm f_i và P_i tỉ lệ token, xác suất TB Aux loss · α · N · Σ f_i · P_i · Auxiliary loss (Switch Transformer) Aux loss α · N · Σ f_i · P_i Điểm s_i · chỉ có gradient LM loss · Bias không cần loss (DeepSeek-V3) Điểm s_i chỉ có gradient LM loss Chọn theo s_i + b_i · bias chỉ để chọn · Bias không cần loss (DeepSeek-V3) Chọn theo s_i + b_i bias chỉ để chọn Gate từ s_i gốc · output không dính b_i · Bias không cần loss (DeepSeek-V3) Gate từ s_i gốc output không dính b_i Đếm tải c_i · sau mỗi batch · Bias không cần loss (DeepSeek-V3) Đếm tải c_i sau mỗi batch Cập nhật b_i · thừa −γ, thiếu +γ · Bias không cần loss (DeepSeek-V3) Cập nhật b_i thừa −γ, thiếu +γ càng được chọn nhiều gradient phụ, có thể nhiễu không qua gradient Legend expert và phép đếm tải tín hiệu đi vào gradient router: tính điểm và chọn expert tín hiệu chỉ dùng để chọn, không có gradient vòng tự củng cố khi không ép cân bằng