从 DDP 到 ZeRO：为什么分布式训练要对参数、梯度和优化器状态分片？Oct 22, 2026·7498 words·15 minsDeep-Learning Distributed-Training ZeRO DDP FSDP Ml-Infra 6.S191起因 # 上一篇搞清楚了 AllReduce、ReduceScatter 和 AllGather 三种通信原语，末尾提到 DDP 和 ZeRO Stage 2 选择了不同的通信原语组合，根本原因是参数更新的责任分配不同。