像素空间文生图扩散模型训练实证研究

本文探讨了生成建模中一个日益重要的主题：像素空间扩散模型。尽管已有大量研究涉足此领域，但多数聚焦于小规模或类别条件设定。因此，一种能够媲美或超越成熟潜在空间对应模型的像素空间模型训练实用方案仍然难以捉摸。通过全面的实证研究，我们首先观察到，直接在像素空间进行大规模预训练，其收敛速度显著慢于潜在空间。这一观察促使我们提出一种从潜在到像素的策略，该策略在潜在空间高效获取生成先验，并在后训练阶段过渡至像素空间。随后，我们系统性地研究了主导这一过渡的关键设计选择，包括权重初始化、数据构成、预测目标、解码器架构及噪声调度，并确定了一套实用方案，使所得像素空间模型能够匹配或超越其潜在空间对应模型，同时实现3.18至4.75倍的端到端推理加速。我们希望这些发现能为未来像素空间生成研究提供有价值的实证见解和实用指南。