离散扩散模型的单纯形松弛方法 Simplax

用于类别生成的离散扩散模型由一个损坏核定义，该核决定了中间状态空间及相关的逆向预测问题。我们研究均匀离散扩散，并探讨其训练目标和逆向转移能否在不改变底层类别损坏过程的情况下得到丰富。我们引入Simplax，一种精确的Dirichlet-类别增强方法，它将每个损坏的类别状态与一个辅助的单纯形值变量耦合，同时保留原始均匀扩散过程作为其类别边际。这种增强产生了一个可处理的Rao-Blackwell化逆向桥目标及相应的随机逆向采样器，同时保留损坏的类别状态作为去噪器输入。实验上，Simplax在无条件OpenWebText生成上改善了生成困惑度-熵权衡。在数独上，仅用30线索谜题训练的模型在所有评估线索密度（包括最小唯一可解17线索情形）中，与所比较方法相比取得了最高准确率，并在无条件生成中实现了最高有效性。