GPU 显存不够怎么办？Checkpointing 与 Offloading 的工程权衡Oct 21, 2026·5977 words·12 minsDeep-Learning Gpu-Memory Training Activation-Checkpointing Offloading 6.S191 Ml-Infra起因 # 上一篇算完了 7B 模型的训练显存账本。结论很直接：BF16 mixed precision + AdamW 的 Model States 就有 112 GB，加上 30 GB 的 Activations，单卡至少需要 145 GB——一张 80 GB 的 A100 连 Model States 都放不下。