PRM-as-a-Judge 1.5：机器人过程评估工具包

细粒度的机器人评估对于理解具身模型至关重要，它超越了二元成功率与基于规则的过程评分。我们提出PRM-as-a-Judge 1.5，一个用于机器人过程评估的工具包，它能将回放视频转化为密集的进度曲线，并衍生出多种精细指标。PRM-as-a-Judge 1.5在1.0版本的基础上引入了三个新指标，分别刻画失败侧进展、回撤后恢复以及成功侧执行质量，帮助用户理解具身模型的能力。基于基准测试中的回放视频，我们对具身模型进行了全面评估，提供了一些细粒度指标结果和关键发现。我们进一步引入RoboPulse++来评估过程奖励模型（PRM）的可靠性，为评估者提供更精确的测试平台。此外，我们发布了一个用户友好的评估套件，包括基准测试、指标实现和可视化工具，以支持可复现的操作过程评估。我们呼吁社区重新思考机器人的评估方式，并建立透明、程序化且可复现的评估体系，作为下一代具身智能的基础。