标签： #预训练数据

从固定上下文窗口的 padding 浪费出发，手算 sequence packing，分别构造块对角因果注意力、跨文档 loss 屏蔽与位置编号，并给出可验证的 PyTorch 实现。

从数据量比例压倒小语种出发，手算温度平滑，区分文档与 token 采样，并用 PyTorch 构造可复现、可审计的多来源预训练批次。

从重复网页造成的隐式加权出发，手算 Jaccard 与 MinHash，构造可审计的精确—近重复去重流水线，并处理数据切分、阈值和分布式工程陷阱。