Chat-Edit-3D++：基于LLM的交互式3D/4D场景编辑框架

基于视觉-语言预训练模型的图像内容操纵近期工作已有效扩展到文本驱动的3D场景编辑。然而，现有的3D场景编辑方案仍存在一定不足，阻碍了其作为交互式设计工具的进一步发展。此类方案通常遵循固定的输入模式，限制了文本输入的灵活性。此外，它们的编辑能力受限于单一或少数几个2D视觉模型，并且需要复杂的流水线设计才能将这些模型集成到3D重建过程中。为了解决上述问题，我们提出了Hash-Atlas网络，将3D场景编辑重新表述为对2D图集图像的操作，从而实现了2D编辑和3D重建流程的工作流解耦。在此基础上，我们引入了一种基于对话的3D场景编辑方法，称为CE3D++，该方法以大型语言模型（LLM）为中心，允许用户进行任意文本输入并解释其意图，随后促进相应视觉模型的自主调用。此外，我们通过施加运动约束于移动物体，并通过创建与编辑任务相关的轨迹数据集进一步微调LLM，将CE3D++扩展到单目4D场景，这使得较小的LLM能够准确调度多达30种不同的视觉工具。实验结果表明，CE3D++有效地集成了多个视觉模型以实现多样化的视觉编辑效果，具备强大的场景理解和多轮对话能力。源代码和训练好的模型可在 https://github.com/Fangkang515/CE3D 获取。