Lucida：面向可组合真实到仿真场景建模的新方法

可组合场景建模旨在将真实的室内场景恢复为完整的、可编辑的对象资产，并按观察到的方式排列，从而为机器人仿真和具身智能提供一个仿真就绪的真实环境副本，其中的对象可以单独操作。现有流水线将该任务分解为三个步骤——将观测数据解析为实例、为每个实例生成一个资产、并将每个资产放置回去——但每一步都假设输入是杂乱捕获很少提供的：准确的实例几何结构、无遮挡的视图以及能准确匹配观测结果的资产。我们提出了 Lucida，它保持了这一顺序但重新分配了要求，使得每一步仅消耗真实捕获可靠提供的信息，而精度在流水线结束时达到，而非在开始时就被要求。Lucida 将视频解析为场景图，其节点携带每个实例的多视角证据，从这些证据中为每个实例生成完整的资产，并使用 GizmoAct（一种 VLM 策略）放置资产，该策略将放置过程转化为多轮 GUI 交互，通过闭环操控对象的 gizmo 并自行判断何时达到对齐。在场景级 3D 目标检测、物体姿态估计和场景重建方面，Lucida 在 R2S-Scene 上使 mAP 较 Boxer 提高了 69%，在 CA-1M 上将 [email protected] 从 57.8% 提升至 83.4%，并将 SAM3D 的场景 F-Score 从 0.794 提高到 0.924。