Sequence Parallelism 与 Context Parallelism：为什么沿序列切分还不够？Oct 29, 2026·5188 words·11 minsDeep-Learning Distributed-Training Sequence-Parallelism Context-Parallelism Ml-Infra 6.S191上一篇 TP 写完之后，我对 Megatron 的 Column Parallel + Row Parallel 已经比较清楚了：前一层按输出特征切分，后一层按输入特征切分，两层之间不需要 AllGather，只在最后做一次 AllReduce 把部分和加起来。