Orchestra：解耦规划与执行的长程多模态机器人操作智能体

遵循多步指令的机器人需要在正确的对象上按正确的顺序执行操作，即使场景发生变化也是如此。它还必须保持对任务进度的感知，并确定何时推进到下一步。为了解决这些挑战，我们引入了 Orchestra，这是一个智能体框架（agent harness），将任务规划和执行管理与动作生成分离开来。Orchestra 将完整的多模态指令分解为有序的子任务，跟踪已完成的步骤，并在执行过程中更新相关对象和目的地的位置。它维护一个共享上下文，包含当前活动的子任务、空间定位（spatial grounding）以及最近的观察结果。动作策略利用该上下文生成动作，而单独训练进度评估器则估算何时推进到下一个子任务。为了评估在原子指令和短轨迹上训练的机器人能否执行更长的子任务序列，我们引入了一个名为 RMBench-Compose 的基准测试。在九个 RMBench 任务中，Orchestra 的平均成功率为 68.22%，比 Mem-0 高出 26.22 个百分点。在 RMBench-Compose 上，它实现了 7.35 个子任务的平均成功长度（ASL），是 HarnessVLA 的 2.46 倍。在四个真实世界多步任务中，使用基础 π_{0.5} 策略的 Orchestra 使其平均 ASL 提高了 25.0%。这些结果表明，Orchestra 帮助机器人执行更长的子任务序列，同时保持请求的子任务顺序并对指定对象进行操作。我们的代码和项目页面可在 https://youpengwen.github.io/Orchestra 获取。