Bốn cách chia một lần train lên hai GPU

Bốn cách chia một lần train lên hai GPU An architecture diagram generated by Archify. DP · GPU 0 · cả model · nửa batch · DP: chia batch DP · GPU 0 cả model · nửa batch DP · GPU 1 · cả model · nửa batch · DP: chia batch DP · GPU 1 cả model · nửa batch FSDP · GPU 0 · 1/2 weights, grad, Adam · FSDP: chia batch + state FSDP · GPU 0 1/2 weights, grad, Adam FSDP · GPU 1 · 1/2 còn lại · nửa batch · FSDP: chia batch + state FSDP · GPU 1 1/2 còn lại · nửa batch TP · GPU 0 · nửa mỗi ma trận · TP: chia trong layer TP · GPU 0 nửa mỗi ma trận TP · GPU 1 · nửa còn lại · cả batch · TP: chia trong layer TP · GPU 1 nửa còn lại · cả batch PP · GPU 0 · layer 1–16 · PP: chia theo layer PP · GPU 0 layer 1–16 PP · GPU 1 · layer 17–32 · PP: chia theo layer PP · GPU 1 layer 17–32 all-reduce gradient all-gather, reduce-scatter all-reduce mỗi layer gửi activation DP: chia batch FSDP: chia batch + state TP: chia trong layer PP: chia theo layer Legend GPU giữ bản đầy đủ của model GPU chỉ giữ một phần model