GeoNeXt：将视频生成模型用作几何估计的统一框架

近期，几何估计的生成式方法改编了预训练的图像扩散模型，并将该任务视为图像条件下的生成。利用现成的图像扩散模型，它们要么（i）独立训练特定任务的几何模型（用于深度和表面法线估计），从而失去了探索这些几何目标内在相关性的机会；要么（ii）联合微调修改后的图像扩散骨干网络（例如，改变自注意力），这通常需要大量的标注数据。为了以原则性的方式克服这些限制，我们重新利用预训练的视频生成模型，作为几何估计的统一且数据高效的框架，创新性地将其表述为下一帧预测任务。我们的方法GeoNeXt，继承了视频模型中自然结构化的知识和更丰富的先验，同时进一步调整它们以联合建模图像和几何目标（图像<->几何），从而实现更数据高效和有效的几何学习。大量实验验证了我们的方法在跨多样数据集上的零样本单目深度和表面法线估计，优于之前的特定任务和统一生成式竞争对手，同时使用的训练数据显著减少。值得注意的是，我们的方法与在超过100倍数据上训练的判别式最先进方法相媲美，并在多个基准上表现突出。