Meta论文：字节级模型在算力增长时超越Token模型
Banger paper from Meta.
揭示字节级模型在大规模算力下的优势，为小模型蒸馏提供新范式，值得关注底层架构创新的研究者阅读。
Banger paper from Meta.
来自 Meta 的出色论文。
This work shows that byte-level models start out behind token models and then pass them as compute grows.
这项研究表明，字节级模型起初落后于词元模型，但随着计算量的增加，其性能会超越词元模型。
They show this for distilled 1B models trained on up to 1 trillion bytes.
他们在最多使用 1 万亿字节数据训练的蒸馏 1B 模型上展示了这一点。
To distill a byte student from a token teacher, they convert the teacher's token logits into byte logits, either approximately (Marginalize-It) or exactly (End-Of-Token).
为了从词元教师模型中蒸馏出字节学生模型，他们将教师模型的词元对数概率转换为字节对数概率，方法包括近似（Marginalize-It）或精确（End-Of-Token）。
Token models lead at low compute but plateau.
在低计算量下，词元模型领先但随后趋于平缓。
Byte models reach a higher ceiling, and the fitted scaling laws predict the End-Of-Token model ends up to 4% ahead of the distilled token model.
字节模型能达到更高的性能上限，拟合的缩放定律预测 End-Of-Token 模型最终比蒸馏后的词元模型高出 4%。
The byte models also match the distilled token model with one-sixth of the training data, and a 256-entry vocabulary cuts teacher-logit storage to about a fifth.
字节模型仅用六分之一的训练数据就能达到与蒸馏词元模型相当的性能，而大小为 256 的词表可将教师模型对数概率的存储量减少至约五分之一。
Paper: https://arxiv.org/abs/2609.12303
论文：https://arxiv.org/abs/2609.12303
Chat with Paper: https://academy.dair.ai/papers/breaking-the-token-ceiling-distilling-smaller-stronger-byte-models-2609.12303
与论文对话：https://academy.dair.ai/papers/breaking-the-token-ceiling-distilling-smaller-stronger-byte-models-2609.12303
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力