Gpu-Memory

2026

GPU 显存不够怎么办？Checkpointing 与 Offloading 的工程权衡

2026-10-21·5977 字·12 分钟

Deep-Learning Gpu-Memory Training Activation-Checkpointing Offloading 6.S191 Ml-Infra

起因 # 上一篇算完了 7B 模型的训练显存账本。结论很直接：BF16 mixed precision + AdamW 的 Model States 就有 112 GB，加上 30 GB 的 Activations，单卡至少需要 145 GB——一张 80 GB 的 A100 连 Model States 都放不下。

7B 模型只有 14 GB 权重，一张 80 GB GPU 为什么仍可能 OOM？

2026-10-21·4077 字·9 分钟

Deep-Learning Gpu-Memory Training Activation-Checkpointing 6.S191 Ml-Infra

起因 # 之前分别写了推理和训练的显存心智模型和混合精度训练中的显存组成，反复出现一个粗估：BF16 mixed precision + AdamW 大约 16 bytes/parameter。但这个数字每次都只是"1B × 16 = 16 GB"的单位换算，没有真正对着一个具体的 Transformer 架构把账从头到尾算一遍。

从推理到训练：模型调度中的显存约束

2026-09-05·2607 字·6 分钟

Deep-Learning Gpu-Memory Model-Scheduling Training Activation-Checkpointing CS336 Ml-Infra

推理任务能放下，为什么训练任务放不下 # 上一篇讨论了模型调度中的 Capacity Constraint：一组模型到底能不能同时放进一张 GPU。

从线上模型切换问题理解 PyTorch CUDA Caching Allocator：为什么显存管理需要理解生命周期

2026-08-26·6437 字·13 分钟

Deep-Learning CUDA PyTorch Gpu-Memory Memory-Allocator Inference Ml-Infra

起因 # 我们的线上推理系统中存在大量模型——MLP、GNN、MoE，以及它们的各种组合。这个 workload 有几个重要特点：

从参数量到 Peak Memory：模型显存到底应该怎么算？

2026-08-17·5253 字·11 分钟

Deep-Learning Gpu-Memory Model-Scheduling Inference Training CS336 Ml-Infra

起因 # 上一篇讨论了模型调度中的 Performance Constraint：一个模型放到 GPU 上以后，到底跑多快？