分层语言模型的多字节并行预测提速方法

字节级分层语言模型（LMs）近期作为其使用子词分词法的流行对应模型的一种稳健替代方案而出现。然而，一次生成一个字节仍然是推理速度的瓶颈。为解决此问题，我们引入了多字节预测（MBP），它并行生成多个字节，以最小性能影响且无需额外参数的方式加速推理。MBP建立在流行的多令牌预测（MTP）范式之上，并有两项关键创新。首先，我们引入了一个可变长度预测窗口，该窗口与分层LM的潜在令牌或分段对齐。其次，我们实现了一种新颖的注意力掩蔽方案，使得在不违反因果性的情况下实现并行字节预测。我们证明，多字节预测在多种生成任务、指令遵循、问答、摘要和机器翻译中实现了帕累托最优权衡，达到了性能与推理吞吐量之间的最佳平衡。