GenFirst：生成先于重建的稳定端到端潜在生成模型

潜在生成模型通常遵循两阶段流程：先训练变分自编码器进行重建，然后在冻结的潜在空间上训练生成模型。由于以重建为优化的潜在表示未必有利于生成，联合训练这两个模型是一个颇具吸引力的替代方案。然而，直接端到端训练仍然具有挑战性，因为它容易发生潜在坍塌，并面临生成与重建之间的冲突。我们通过分析不同目标函数如何塑造潜在空间来重新审视这一问题，并得出两个关键见解。首先，KL 散度目标中的熵项对于防止坍塌至关重要：重建和先验拟合倾向于缩小后验分布，而熵则保留了非退化的潜在不确定性。其次，重建与生成表现出不对称的学习动态：重建速度快且监督信号强，而生成速度较慢且更难优化。基于这些见解，我们实现了首次无潜在坍塌的直接端到端训练，并提出 GenFirst——一种简单的先生成后重建策略。生成目标首先在较弱的重建压力下塑造潜在空间，随后逐步增强重建能力以恢复视觉细节。我们在具有精确似然的连续自回归先验以及具有隐式似然的 SiT 先验上验证了 GenFirst。借助我们的端到端目标和 GenFirst，SiT 在 ImageNet-256 数据集上配合 CFG 达到 gFID 0.97，不配合 CFG 时达到 1.45；MMDiT 在文生图任务上达到 GenEval 分数 0.90。除了图像生成，我们将该框架扩展至用于生成和表征学习的共享视觉潜在表示，以及连续的图文统一生成。这些结果证明了稳定的端到端潜在学习在不同生成先验和模态间的通用性。