BLARM：通过混合潜在刚性运动基元从视频驱动3D网格动画

我们介绍了 BLARM，这是一种用于视频驱动 3D 网格动画的前馈方法。给定一个单目视频和一个静态物体网格，BLARM 预测一个时间连贯的动画网格，其运动跟随视频。与依赖显式绑定（rigs）或直接回归高维顶点运动不同，我们使用一组紧凑的、学习得到的时变刚体运动分量和时不变顶点-分量蒙皮权重来表示动画。这产生了一个低维变形空间，无需骨骼、笼子、蒙皮权重或绑定标注。我们的架构通过分解的空间-时间注意力机制，将基于几何的变形潜变量条件化于视频特征上，然后解码由预测的蒙皮权重混合的刚体变换。通过轨迹重建、熵正则化和运动感知对比学习进行训练，BLARM 能够生成准确且时间稳定的动画，同时从单目视频中恢复出紧凑、可解释的运动结构。