从线上模型切换问题理解 PyTorch CUDA Caching Allocator：为什么显存管理需要理解生命周期
起因 # 我们的线上推理系统中存在大量模型——MLP、GNN、MoE，以及它们的各种组合。这个 workload 有几个重要特点：
Cuda
2026
2020
tensorRT 模型兼容性说明
名词说明 # CUDA. 一般来说指的是CUDA SDK. 目前经常使用的是CUDA 8.0和CUDA 10.1两个版本. 8.0和10.1都是SDK的版本号. CUDNN. The NVIDIA CUDA® Deep Neural Network library (cuDNN). 是一个可以为神经网络提供GPU加速的库 compute capability. 是GPU的固有参数,可以理解为GPU的版本.越新的显卡该数值往往越高. tensorRT.NVIDIA TensorRT™ is an SDK for high-performance deep learning inference. 是一个深度学习推理库,旨在提供高性能的推理速度. plan file,也称为 engine plan. 是生成的tensorRT 模型文件. 兼容性说明 # Engine plan 的兼容性依赖于GPU的compute capability 和 TensorRT 版本, 不依赖于CUDA和CUDNN版本.
2018
CUDA C Best Practices Guide 阅读笔记（二） Heterogeneous Computing
CUDA 编程涉及到在不同的平台上同时运行代码:包含CPU的host 和包含GPU的device.
CUDA C Best Practices Guide 阅读笔记（1） 并行计算方法论(APOD)
APOD指的是Assess, Parallelize, Optimize, Deploy
如图所示，APOD过程是一个循环的过程，每次只进行一部分，从A到P到O到D,然后再进行下一轮的APOD
cuda error checking 学习笔记
由于发现cuda c++ 的 debug方式和c++ 差别很大,因此打算再开一篇,专门记录一些和error checking 以及debug有关的内容.