Token词元取代了Byte字节，不过这不意味着所有大模型都得依赖Token。
字节模型，尤其是经过蒸馏处理后，带来了一些新见解。
近期，Meta FAIR与华盛顿大学联合发表的一篇论文《突破Token天花板：蒸馏出更小、更强的字节模型》，提出了一个引人深思的构想——
在蒸馏过程中，能否将学习单元从词元（Token）切换为字节，让学生模型直接基于字节（byte）级别的概率分布进行学习？
结果证明这是可行的。
研究团队为每个Token添加了结束标记，将教师的Token概率分布完整地转换到字节层面。在以Llama 3-8B作为教师的蒸馏实验中，团队依据缩放定律预测：
随着训练计算量的提升，字节级蒸馏将超越Token级蒸馏，下游任务的平均准确率上限高出4个百分点。
传统蒸馏让学生学习教师在庞大Token词表上的概率分布。相比之下，字节仅有256种基础取值，单个位置的预测空间更小，且基础取值不随分词器变化。
换句话说，学习的基本单位变得更小，但模型最终能掌握的能力上限却更高了。
这是如何实现的？
字节级蒸馏
实际上，蒸馏技术在今天已非陌生概念。众所周知，大模型能力更强，但将其部署到实际应用中，显存、计算资源和响应速度都是成本。
因此，一种常见做法是让大模型充当教师，将知识蒸馏给更小的学生模型。
与普通监督训练仅告知模型“下一个正确Token是什么”不同，蒸馏还会让学生学习教师对各个候选Token的概率判断。
但问题也由此产生。Token的候选空间极为庞大。以Llama 3-8B为例，其词表包含128256个Token，这意味着每个预测位置都对应十几万个候选概率。
如果进行离线蒸馏，保存完整的概率分布会带来高昂的存储成本。因此，实际操作中通常只能保留概率最高的部分，即top-k截断。
而字节模型恰好将这一候选空间大幅压缩。
一个字节由8个比特组成，共有256种可能的取值。即使加上少量特殊符号，每个位置需保存的概率也不过两百多个，完整分布自然更易保留。
然而，教师预测的是整个Token，学生预测的是单个字节。要使两者匹配，不能仅将文本拆解，还需将教师的概率分布一同转换。
这正是论文首先解决的问题。
具体而言，团队提出了两种方案，分别称为Marginalize-It和End-Of-Token。
两者的基本思路一致：将教师对不同Token的概率，逐步分解到对应的字节位置上。
以论文中的Tiramisu为例，它可能被tokenizer切成T、iram、isu几个Token。
假设教师在预测下一个Token时，候选里同时有isu、isk和is。
这三个候选都以字节i开头，那么预测第一个字节时，可将所有以i开头的候选概率相加。
当真实前缀变为i后，再仅保留前缀匹配的候选，继续计算下一个字节的概率。
沿真实字节序列不断重复，就能将原本的Token分布，逐步拆解为逐字节的训练目标。
第一种方法Marginalize-It，直接进行聚合与概率重新分配。
然而，问题出现在不同Token长度不一致时。
例如，当已走到前缀is时，isu和isk后面还有字节，但is这个Token已结束。
此时，若想了解is之后的内容，需继续查询教师在该Token结束后的预测；而不同候选路径可能对应不同的后续分布，计算量会迅速增加。
Marginalize-It的处理方式很直接：
已结束的候选不再追溯，将剩余候选的概率重新归一化。
这样只需一次教师前向计算，效率较高，但代价是丢失部分已结束Token的概率信息，因此本质上是一种近似。
第二种方法End-Of-Token，则为“Token结束”预留了一个位置。
End-Of-Token则采用不同思路：既然Token会结束，那就干脆为“结束”本身设定一个明确的预测位置。
具体来说，团队在每个Token末尾添加一个特殊符号。于是原来的三个候选变为：isu、isk和is。
这样，当已走到前缀is时，学生接下来可预测u，也可预测k，还可预测，表示当前Token到此结束。
原本因长度不同而“悬空”的概率，便有了明确归属。
因此，End-Of-Token能在保留Token边界的同时，更完整地将教师分布映射到字节空间。
而且，两种方法都只需教师进行一次前向计算，就能完成从Token分布到字节分布的转换，无需为不同分词路径反复调用教师模型。
至此，教师模型的知识终于能真正传递到字节学生手中。
接下来要看的，就是它究竟能学到多少。
实验验证
团队分别测试了Token、普通字节和带字节三种表示，每种再分为监督训练与蒸馏训练，共计六组。
这样既能比较蒸馏是否有效，也能观察改变学习单位后，模型的训练表现如何变化。
教师统一使用Llama 3-8B。三类学生的Transformer层参数量相同，均约为12.8亿。
计入词表相关参数后，总参数量有所不同：Token学生约18.1亿，字节学生约12.8亿。
研究逐步增加训练数据和计算量，字节模型的训练覆盖约万亿字节规模，再在选择题问答、语言生成和机器翻译三类任务中完成八项评测。
先看训练过程。
Token模型在计算量较小时学习更快，但很快接近平台期；字节模型起步较慢，却随计算量增加持续改善。
也就是说，Token模型胜在前期效率，字节模型则展现出更好的Scaling潜力。
不过，如果只看BPB（每字节预测损失），几种字节模型很早就超越Token模型，但真正用于下游任务时，成绩却仍较低。
这是因为BPB衡量的是模型对文本预测的准确性，而下游任务关注的是最终答案是否正确，两者并不等同。
因此，团队并未直接以BPB判断孰优孰劣，而是进一步拟合了：训练计算量 → BPB → 下游任务成绩，再借助这一关系预测不同方案继续Scaling后的能力上限。
结果表明，三种蒸馏方案的预测平均准确率上限分别为：
Token蒸馏48.4%，Marginalize-It蒸馏50.5%，End-Of-Token蒸馏52.4%。
也就是说，End-Of-Token最终比传统Token蒸馏高出4个百分点，也是六种方案中预测上限最高的。
不过，蒸馏的优势并非在所有预测中都成立。
普通字节监督模型的渐近准确率预测为51.2%，高于Marginalize-It蒸馏的50.5%。
论文认为，原因很可能在于前面提到的：Marginalize-It为节省计算，丢弃了部分Token结束后的概率信息。
而能更完整保留教师分布的End-Of-Token，则同时超越了自己的监督版本和其他所有方案。
进一步，按Scaling曲线继续外推，End-Of-Token大约在6.33×10²² FLOPs时，就能追平Token蒸馏48.4%的预测上限。
最后，实验还表明字节级蒸馏能显著降低数据和教师分布的存储压力。
团队还将这些渐近预测与现有开放权重模型进行了比较。
按论文的预测计算预算，End-Of-Token处理的实际文本量约为Token方案的六分之一；
在Token仅保存top-600、字节保存完整分布的设置下，存储量也只有约五分之一。
不过，更少的数据并不意味着更少的计算。
尤其End-Of-Token还在每个Token后加入了，处理相同文本量时，训练计算量比普通字节模型还要高约30.94%。
与此同时，推理成本也是同样的问题，论文目前尚未完成等推理成本下的公平比较。
因此，总体而言，这项工作展示了一条小模型训练的新路径：将教师的知识转换到字节级别，让学生用更小的预测空间、更少的训练文本，争取更高的能力上限。
End-Of-Token在这组实验的外推中表现最佳，但要兑现这一潜力，仍需继续投入计算。
作者介绍
最后，让我们介绍本文的作者们。
论文一作Kalyani Marathe是华盛顿大学博士生，师从Luke Zettlemoyer，研究兴趣主要集中在大模型训练、模型架构与Scaling。
她此前曾在Meta AI Research实习，也在Amazon Robotics的Foundation Models团队工作过。
Artidoro Pagnoni是华盛顿大学计算机系博士生、Meta访问研究员，研究重点是大模型的资源效率与Scaling，此前曾就读于CMU和哈佛大学。
他也是Byte Latent Transformer（BLT）和QLoRA的核心作者之一，后者大幅降低了微调大模型所需的显存。
Tomasz Limisiewicz是华盛顿大学和Meta的博士后研究员，此前在查理大学获得博士学位。
他主要研究大语言模型如何学习和迁移能力，尤其关注数据、模型内部机制、Tokenization，以及低资源语言和模型鲁棒性。
Margaret Li是华盛顿大学博士生，师从Luke Zettlemoyer和Tim Althoff，同时也是Meta FAIR的访问研究员。
她的研究涉及大模型高效训练与生成、条件计算、可控性和安全，此前还曾担任FAIR研究工程师，参与开放域对话等方向的研究。
Mike Lewis是Meta FAIR研究科学家，也是Llama 3预训练负责人之一。
他此前参与了RoBERTa、BART、CICERO、kNN-LM、Attention Sinks和Top-k Sampling等多项代表性工作。
Luke Zettlemoyer是华盛顿大学Allen School教授，同时担任Meta FAIR Seattle负责人，长期研究语言模型预训练、语义解析、问答和多语言NLP。
他曾获得美国总统青年科学家与工程师奖（PECASE），并在顶级NLP会议上获得十余项论文奖。
Srinivasan Iyer是Meta FAIR研究科学家，研究方向涵盖语言建模、文本生成、摘要、可解释性和问答。
他在华盛顿大学获得计算机博士学位，师从Luke Zettlemoyer和Alvin Cheung，博士阶段重点研究自然语言与通用源代码的联合建模。
本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。