从 AllReduce 到 Ring：分布式训练中的通信原语Oct 22, 2026·4919 words·10 minsDeep-Learning Distributed-Training AllReduce DDP Ml-Infra 6.S191起因 # 之前几篇文章从模型显存组成一路算到 7B 模型的训练账本，结论很直接：BF16 mixed precision + AdamW 的 Model States 就有 112 GB，一张 80 GB A100 连放都放不下。Checkpointing + Offloading 两个一起用可以勉强塞进去，但训练速度要被 PCIe 传输和额外重计算拖累。