GPU 显存不够怎么办？Checkpointing 与 Offloading 的工程权衡2026-10-21·5977 字·12 分钟Deep-Learning Gpu-Memory Training Activation-Checkpointing Offloading 6.S191 Ml-Infra起因 # 上一篇算完了 7B 模型的训练显存账本。结论很直接：BF16 mixed precision + AdamW 的 Model States 就有 112 GB，加上 30 GB 的 Activations，单卡至少需要 145 GB——一张 80 GB 的 A100 连 Model States 都放不下。
