标签： #机器学习

从随机森林无法继续降低共同偏差出发，手算两轮残差拟合，推导负梯度与逐步加法模型，并实现可诊断的梯度提升回归。

从单棵树的高方差出发，手算自助采样、概率平均与袋外预测，解释特征子采样如何降低相关性，并实现可诊断的 sklearn 随机森林。

用六个样本手算特征阈值与不纯度下降，追踪决策树的递归生长、预测路径和代价复杂度剪枝，并实现可调试的 sklearn 流程。

从弯曲边界的局部分类出发，手算 K 近邻的距离与投票，解释特征尺度、K 值、索引复杂度和维度灾难，并实现可调试 KNN。

从线性回归阈值化的失败出发，推导逻辑回归的 logit、Sigmoid、决策边界与梯度，并用 NumPy 和当前 sklearn API 完成可调试实现。

从高次多项式追逐噪声出发，推导 L2 惩罚、手算参数收缩，解释特征尺度与 alpha，并用 sklearn 和 PyTorch 实现可调试训练。

从训练误差与验证误差的差距出发，手算学习曲线，区分欠拟合、过拟合与优化失败，并用 sklearn 复现可执行的诊断流程。

沿一次训练迭代追踪张量与梯度，手算两个 mini-batch 的参数更新，并用 PyTorch DataLoader 实现可调试的小批量训练循环。