标签： #分词器

从整词词表的未知词问题出发，手算 BPE 合并与编码顺序，解释字节级覆盖、词表—序列长度权衡，并用 Tokenizers 0.23.2 构建可复现流水线。