PixSDS：修复潜在SDS导致的像素噪声

分数蒸馏采样（SDS）通过利用预训练的扩散先验优化渲染图像，实现了文本到3D的生成，但潜在SDS常常产生结构化的颜色伪影和高频纹理噪声。我们发现了一种由VAE引起的像素漂移导致的潜在SDS失败模式：优化后的图像可能沿着VAE编码器约束较弱的像素空间方向移动，因此其潜在表示保持干净且语义上有意义，而图像本身却积累了可见的伪影。我们通过受控的2D SDS实验、仅VAE优化以及一个简化分析来支持这一诊断，该分析表明，当到像素的逆映射约束不足时，类似编码器的潜在目标可能会放大图像空间中的噪声。受此观察启发，我们提出了PixSDS，一种轻量级的VAE一致性梯度修复方法。PixSDS解码潜在SDS的展望步骤，并使用解码后的图像作为像素空间优化的干净方向，减少了在VAE不一致方向上的运动，而无需重新训练扩散模型、更改渲染器或替换SDS目标。在2D优化和文本到3D生成中的实验表明，PixSDS在保留语义内容的同时，大幅减少了结构化伪影。代码公开于 https://sevashasla.github.io/pixsds-webpage/。