Kirin：基于野外视频的四足动物运动生成框架

理解动物运动对于建模动物行为和生物力学至关重要，然而由于高质量运动数据的稀缺，该领域的进展远远落后于人类运动研究。虽然人类运动可以在受控环境中捕捉，但对于大多数动物物种来说这是不切实际的，导致数据集规模小且局限于特定领域，从而限制了动画等下游应用。为了解决这一挑战，我们引入了 Kirin，这是一个从视频中重建运动、大规模学习运动先验并生成可直接应用于动画资产的逼真运动的框架。利用大量野外拍摄的动物视频集合，我们重建了 3D 运动序列，并将其与描述文本配对，创建了 AiM3D，这是第一个为四足动物提供对齐的视频-文本-运动三元组的大规模数据集。基于该数据集，我们开发了一种视觉引导的运动生成模型，该模型以文本和图像为条件，指导跨多种动物物种的逼真运动生成。最后，通过利用现成的图像到 3D 模型，我们使用生成的运动自动为 3D 网格设置绑定并进行动画制作，生产出可直接渲染的动画动物。我们的数据集和框架共同为大尺度、文本和图像条件下的动物运动生成及动画建立了新的基础。项目页面：https://kirin-ani.github.io/.