Hydra-0：基于动作流的世界建模与机器人控制

我们介绍了 Hydra-0，这是一个以动作流为条件的通用世界模型，它将机器人动作表示为像素运动。这种共享的视觉接口使得通过跨具身、任务、环境和视频生成骨干网络学习动作后果来实现通用世界建模和控制成为可能。我们的最佳配置相比基于动作的条件基线，机器人运动误差降低了 90.4%，物体运动误差降低了 60.2%，同时支持零样本组合和数据高效的适应。在 RoboLab 基准测试中，Hydra-0 在重放成功率和参考成功率之间实现了 r=0.96 的皮尔逊相关系数。最后，我们发现该接口的一个涌现逆模式：一种世界动作模型，它从人类演示转移的期望物体流中预测兼容的机器人运动。经过训练的动作头将生成的潜在特征映射到可执行动作，无需特定任务的专家机器人演示。综上所述，这些结果展示了动作流作为连接异构训练数据、开环策略评估和机器人控制的共享控制接口的潜力。