标签： #分布式训练

从流水线气泡出发，手算 GPipe 与 1F1B 的时间线、激活驻留和梯度累积，解释 stage 边界契约、PyTorch PipelineStage/Schedule1F1B 用法与调试方法。

从 FSDP2 仍需临时聚齐单层参数出发，手算 Transformer MLP 的列并行与行并行，解释局部张量形状、通信位置、反向传播与 PyTorch DTensor 落地。

从普通 DDP 的复制成本出发，手算 FSDP2 如何分片参数、梯度和优化器状态，拆解 all-gather、reduce-scatter、reshard、分组边界与分布式 checkpoint。

从显存瓶颈和通信位置出发，用四卡手算比较数据并行、张量并行与流水线并行，解释三种切分的数据流、张量形状、性能代价与组合原则。