跳到主内容
@wquguru
精选75Hugging Face 每日论文(json_list)论文研究

即插即用2D运动接口,让3D运动语言模型适配真实视频

A Plug-and-Play 2D Motion Interface for Real-World Motion Language Models

原文
发到 X

运动语言模型(MoLMs)通常通过将3D运动进行分词化,并使用语言模型处理生成的令牌来理解人类运动。然而,从单目视频中获取准确的3D运动具有挑战性,限制了其在实际应用中的适用性。为解决这一问题,我们引入了一种即插即用的2D运动接口,使预训练于3D的MoLMs能够接受2D运动输入,而无需修改或微调原始模型。 在公共数据集上的实验表明,我们的方法在多种MoLMs上实现了与3D运动输入相当的性能,并且优于从头开始在2D运动上训练的MoLMs。我们进一步构建了一个单目真实世界视频运动评估数据集,并引入了一个真实视频适配器,证明了在评估的单目姿态估计设置下,2D运动相对于3D运动的实用性。这些结果表明,2D运动为在真实世界运动理解场景中部署MoLMs提供了一种实用的接口。代码可在 https://github.com/irajisamurai/2D-Motion-Interface 获取。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

另一事件,读法相近