↓ Skip to main content

Gpu-Memory

2026

从推理到训练：模型调度中的显存约束

Sep 5, 2026·2607 words·6 mins

Deep-Learning Gpu-Memory Model-Scheduling Training Activation-Checkpointing CS336 Ml-Infra

推理任务能放下，为什么训练任务放不下 # 上一篇讨论了模型调度中的 Capacity Constraint：一组模型到底能不能同时放进一张 GPU。

从线上模型切换问题理解 PyTorch CUDA Caching Allocator：为什么显存管理需要理解生命周期

Aug 26, 2026·7513 words·15 mins

Deep-Learning CUDA PyTorch Gpu-Memory Memory-Allocator Inference Ml-Infra

起因 # 我们的线上推理系统中存在大量模型——MLP、GNN、MoE，以及它们的各种组合。这个 workload 有几个重要特点：

从参数量到 Peak Memory：模型显存到底应该怎么算？

Aug 17, 2026·5253 words·11 mins

Deep-Learning Gpu-Memory Model-Scheduling Inference Training CS336 Ml-Infra

起因 # 上一篇讨论了模型调度中的 Performance Constraint：一个模型放到 GPU 上以后，到底跑多快？