-
整数编号怎样变成可学习语义?Token Embedding、梯度累加与权重绑定从 token id 的无序性出发,手算 Embedding 查表和重复行梯度,追踪 LM Head 的词表 logits,并用 PyTorch 2.14 正确实现权重绑定。
12 分钟 中文 -
一句文本怎样变成训练信号?因果语言模型的标签右移与 Next-Token Loss从原始 token 序列出发,手算标签错位与交叉熵,追踪 logits、padding 和文档边界,并用 PyTorch 2.14 写出可检查的语言模型训练步。
14 分钟 中文 - 标签就是原文,模型为何不能偷看答案?Next-token loss、Teacher Forcing 与困惑度
从概率链式法则出发,手算因果语言模型的 token 移位与交叉熵,区分 causal mask、loss mask 和 teacher forcing,并用 PyTorch 与 Transformers 当前 API 处理 padding、packing 和困惑度。
25 分钟 中文
返回