NVIDIA MPS:既然有 CUDA Streams,为什么还需要跨进程并发?2026-11-18·4621 字·10 分钟Deep-Learning CUDA Gpu-Performance Ml-Infra MPS之前在写 GPU Execution Model 的时候,我对 SM、Warp、Block 这些概念已经有了基本的理解。但最近碰到一个场景让我停下来想了一会儿:我们有两个独立的推理服务共享同一张 A100,各自的 GPU 利用率都不高,直觉上 GPU 应该有很多空闲的执行资源。