Luce：可重光照的高斯3D资产生成新方法

高保真图像到3D生成需要一种能够同时捕捉几何形状和外观的3D表示。为了支持重新光照并集成到标准渲染管线中，该表示应包含基于物理的渲染（PBR）模态，如反照率、金属-粗糙度和表面法线。我们提出Luce，一种3D表示，它在体素化的多模态高斯云中统一了几何和PBR材质，为每种模态使用专用的高斯原语。变分自编码器将此表示压缩为统一的材质感知潜在空间。一个修正流变换器从单张图像生成该潜在表示，并以预训练图像编码器的多层特征为条件，这些特征保留了语义上下文和精细空间细节。随后，潜在表示解码为可重新光照的PBR高斯以及带有切线空间法线贴图的可选纹理网格。在Toys4K上，Luce实现了最先进的单图像到3D生成，相比最强基线将FID提升了28%。我们进一步引入了一个AI生成图像的基准，在该基准上，Luce将CLIP图像对齐分数提升至优于最佳基线（0.8519对比0.8299）。Luce生成可重新光照、几何精确且材质保真的资产，保留了文字、标志和铭文等精细细节。