标签： #神经网络

从深层网络的退化问题出发，手算残差块的前向叠加与反向梯度分流，拆解投影捷径、预归一化和 PyTorch 2.13 实现。

从批量大小变化引发的预测漂移出发，手算 BatchNorm 与 LayerNorm 的统计轴，拆解运行统计量、仿射参数和 PyTorch 2.13 训练/推理语义。

从狭长谷底中的 SGD 振荡出发，手算 Momentum 与 Adam 的状态更新、偏差修正和逐参数缩放，并用 PyTorch 2.13 构建可调试训练循环。

从深层网络的方差连乘出发，手算前向与反向信号尺度，推导 Xavier/He 初始化，并用 PyTorch 2.13 逐层诊断激活和梯度。

从有限差分的高成本出发，手算微型计算图的反向传播，解释向量—雅可比积、梯度累加与 PyTorch 2.13 autograd 调试。

从多层线性变换仍会折叠成一层出发，手算 ReLU 网络如何分开 XOR，追踪张量形状，并用 PyTorch 2.13 实现可调试的两层感知机。