Expert Parallelism:为什么让 Token 去找 Expert,而不是搬运参数?2026-11-03·9000 字·18 分钟Deep-Learning Distributed-Training MoE Expert-Parallelism Ml-Infra 6.S191上一篇把单个 MoE Layer 的执行流走了一遍:Router 选 Expert、Token Dispatch 按 Expert 重排、Grouped GEMM 统一调度、Combine 加权合回原始 Token 顺序。整条链路假设所有 Expert 都在同一张 GPU 上。