跳到主内容
@wquguru
精选88硅谷101(YouTube)技巧与观点

Maxinsights创始人袁宇光:机器人数据250倍增长与具身智能商业模式

对话Maxinsights:具身“卖铲人”的250倍增长、机器人Ego数据狂潮、Doordash与丰田模式,与“自由的鸟”【101视频播客】

原文
发到 X
推荐理由

深度访谈揭示了具身智能领域最紧缺的数据要素的商业化路径,从数据采集设备迭代到处理管线的取舍权衡,对从事Robotics AI的工程团队极具参考价值。

这一期视频播客 我们来聊一个一年250倍增长的故事 这发生在硅谷的机器人数据领域 过去两年 在采访机器人公司的时候呢 我们听到最多的一句话就是 太缺数据了 当机器人公司们还在探索 模型算法数据和部署的时候 一家并不生产机器人的硅谷公司呢 把机器人数据做成了一门 年化收入数亿美元的生意 这家公司叫Maxinsights 他们成为了机器人 淘金热中卖铲子的人 我们的ARR差不多可以 达到250个million左右 我们去年一年其实 才差不多一个million 客户是谁 可以披露一下吗

一类是大模型的客户 另外一类客户都是做机器人智能的客户 从100万美元到2.5亿美元 250倍增长 发生在短短一年 这家数据公司让普通人带上摄像头 记录做饭、叠衣服 打扫卫生这些日常动作 再把这些视频转化为 机器人可以学习的训练数据 如今他们已经积累了200万小时的 人类第一视角数据 并且建立起了一张覆盖全球 4000名数据采集人员的网络 而这家公司的数据采集运营团队 全职员工不到10个人 美国、墨西哥 然后东南亚 我们有印尼、越南和泰国 中国、土耳其以及最远到南非 我们全球一共有接近

4000人的运营团队 它依靠的是中间这一层 我们叫AI agent in the loop(智能体参与闭环) 一个平台 相当于是一个小监工 我们叫小助手 挺难的 管理 运营是一件特别难的事情 我们在最近的一期视频播客 采访Dyna Robotics的时候 这家硅谷机器人公司 号称通过100万小时的 人类第一视角数据 找到了机器人的scaling law(规模定律)

之后 1000万小时的数据 是下一步 当机器人行业开始 验证自己的数据scaling law(规模定律) 这是否意味着我们正在见证 机器人领域的下一个scale AI的诞生 如果你们能产出1000万小时的数据 需要多少人 我估计在现在的基础上 能够再有3倍到5倍的人 世界模型的公司 做video generation(视频生成)

的公司 现在都变成了机器人数据公司 其实有很多也是我们的客户了 他们是没有数据产线的 对 如果有一天他们有了数据产线 即使他们今天做 也只是做了我们2023年 2024年做的事情 那这一期硅谷101视频播客 我们对谈了Maxinsights创始人袁宇光 从他经历的两代机器人创业潮说起 到当前机器人数据的商业模式 全球采集管理以及数据技术 聊聊这场刚刚开始的机器人数据热潮 宇光 欢迎你做客硅谷101 你好 茜姐 我听说你们现在是机器人行业里面 数据上面收入最高的公司之一 你们主要的业务构成是什么样子的

我们主要是做人类方面的数据 并且是把人类的数据 变成机器人可用的数据 来帮助这些机器人头部的公司 训练它们自己的模型 现在具体的体量有多少 能给我们透露一下吗 也就是硅谷现在 我们说的ARR(年度经常性收入) 我们的ARR差不多可以达到2.5亿美元左右 好 2.5亿美金 那今年增长应该是非常快了 是的 我们去年一年才差不多100万美元 到今年为止我们增长的速度非常快 我们认为也跟这个行业发展有关 就现在这个行业 你会看到有很多我们的客户侧 已经通过使用更多的高质量数据 来帮助它们的模型进行训练

并且得到了一些基本的认知 然后这些模型 不仅具备了一些新的更好的表现 并且使用了大量至少是100万小时的数据 所以目前你可以看到说 Data scaling law(数据规模定律) 在physical AI(具身智能)里面已经实现了 过去两年我一直都在听到说 机器人行业缺数据 缺数据 是不是2025年大家说缺数据 还是缺的是遥操数据 但是起码在硅谷这边 我看到 我看到最近大家是把这个押注 压在了human-centric 也就是第一视角数据的方向上 2025年和2026年确实发生了一些变化

2025年早期的时候 我们的客户当时和我们一起去开发 新的能够帮助physical AI(具身智能) 能够落地的更加scalable(可规模化)的方式 当时我们探索了很多种数据类型 包括teleoperation(遥操作) 包括了simulation(仿真) 当然也包括ego(第一人称视角)的数据 甚至还有那时候我们去做手套的数据 那个时候我们就发现 除了ego data(第一人称视角数据)

以外的 大部分数据 要么就是not scalable(不可规模化) 那teleoperation(遥操作)永远会有一个上限 要不就是它落地的时候会有很多的差距 比如说sim-to-real(仿真到现实迁移) 大家都知道这个差距 所以那个时候当我们去扩大规模的时候 我们会发现说 当人类的数据 如果我们想象一下 把每个人身上的特殊的技能 把它变成机器人的技能 它的想象的空间就变大了 所以2025年那个时候 我们作为这个行业里面应该是最领先的人 我们第一个订单是200小时 那个时候200小时对我们来说没有概念

是遥操数据吗 不是 是ego(第一人称视角)数据 客户是谁 可以披露一下吗 我们客户是 美国的头部的大模型的公司 它们当时也在探索 对 当时它们也在探索 我们和它们去做了很多探索 包括刚才说的各种数据类型 最后定在了 人类的第一人称视角数据上 主要也是因为说第一个有用 第二个可以快速地scalable(可规模化) 第三个 它可以把人类的一些隐藏的技能 变成机器人本身的一些新的知识 和新的技能 把它们串起来之后 你会发现说机器人 想要实现真正的将来的AGI(通用人工智能)

是可以把人的想法变成机器人的想法 并且予以实现的 人类隐藏的技能是什么 咱们就说现在很火的叠衣服 你可以想象 全球有成千上百种的叠衣服方式 如果把它们合并在一起 你就会让机器人用各种人类的方法 来去叠一件非常简单的衣服 而这样的好处是 第一个 你可以叠衣服 可能会叠得更有效 然后第二个 会叠得非常可靠 第三个是 你见到什么样的东西都可以叠 所以这是我觉得 给机器人本身增加了很多基础的智能 相当于它的泛化性 通过这个数据的方式是达到了 是的 去年我们已经发现了这个数据本身 能够增加模型的一些简单的泛化性

所以我们从最早的200小时 到去年年中 下半年 加起来一共我们有两万小时 所以相当于是一百倍的提升 到今年年初的时候 2万小时变成了20万小时 所以是三步 我们作为整个行业的一个先驱者走了三步 然后在这个方向里面 我们发现 这个痛点发生了一些简单的变化 从缺数据 到变成了缺高质量的数据 现在很多人还说我有很多的数据 但是今天为止 很多人看到的是 你的数据本身质量到底有多好 才能真正地在这个行业里面站住脚 对 我们先跟大家划清一下这个类别 你们采集的所有数据 就是human-centric

第一人称的视频数据 是 这个数据是怎么采集的 能不能跟我们解释一下 这种数据是来源于人们日常的生活 那我们通过头部的这种设备 这是我们其中一个设备 所以这两个都是你们的数采设备是吗 对 这是我们上一代产品 这还是我们最新的产品 戴在头上可以记录整个手部的内容 这种手部的内容会成为我们的毛坯数据 然后通过我们的高质量处理管线 会变成我们的高质量数据 我看这里面是有六个摄像头 这是你们上一代的 上面有六个摄像头 所以它可以有180度左右的一个视野吗 270度 更宽 好 但是它是一个

比如说一个视频出来的 对 是的 它是有一点鱼眼的感觉在里面 是吗 对 这也是 它为什么要270度 其实这也是我们最先开始的一些 know-how(专有技术) 我们刚开始用的是GoPro 很小的一个摄像机 那时候因为我们收集的数据 非常真实且不可控 就是在非常真实的生活中 所以你的头会晃来晃去 你的手会出镜 所以我们用了这种270度的大范围视角 可以保证手至少是入镜的 其次是它可以捕捉 更多的更丰富的信息给到模型 周围环境的信息 对 是的 所以你看到这边有四个 然后这两边各有一个

为什么这中间有四个 中间四个主要是能够拍到手 以及拍到身体的一些部位 这些身体部位可以给到模型 可以提供更多的信息 现在我们只说human-centric(以人为中心)不只是手 Human-centric(以人为中心)还有很多身体的位置 所以我们叫pose tracking(姿态追踪) 和hand tracking(手部追踪)

这一部分将来这个基础的设备 会提供更丰富的信息给到模型 来去进行全方位的tracking(追踪) 给到模型 所以如果要采集的话 就是需要一个采集员 他戴着这个头盔 然后一天采多少个小时 我们的采集时间相对比较长 我们采用的都是相对专业的采集员 和相对专业的采集团队 这也是跟行业里面不太一样的一个地方 你会看到今天有很多的公司 会有它自己的外包采集网络 这个很像当时的digital AI(数字智能)

我们发动身边的人 他可以有一些补充收入 对我们来说 我们认为这个世界 在去采集的时候还更像是一种DoorDash 或者是国内美团的模式 当你采集的时候 你需要大量 你需要高质量 并且你需要多样性 所以你需要对你的采集团队 有直接的管控 这种直接的管控能帮助采集团队 获得更高质量和更高的输出 你这样才能 在这个行业里面得到更多的更好的位置 这一块特别重要 对于整个数采团队的管理 我们待会可以详聊 我们先来继续说一下这个数采的设备 然后这个是你们上一代的 然后你们新一代的 有什么样的区别跟升级吗

它更轻了 它的电池可以维持更长时间 感觉甚至要小巧一些 对 新的产品会更能快速地calibration(标定) 相对它得到的信息和结果会更准确 我看它只有四个摄像头了 对 四个就够了我们感觉 为什么之前要六个 然后现在只要四个 其实也是迭代的过程 有更多的摄像头 我们就觉得会有更好的输出 但实际上我们也会考虑将来 这个行业需要往成本优化的方式走 所以我们再去考虑 得到相同信息的前提下 要考虑更优化的成本结构 这两代摄像头它的像素都是一样的吗 对 类似 成本呢 它减到四个成本可能是降低的

对 那肯定这个更低 那就是穿戴的体验呢 你们有没有 这个是很轻的 而且它在戴上的时候 就是戴在额头上 是吗 对 戴在额头上像帽子一样 像帽子一样 然后你手机上会有一个应用程序 直接打开它 连上就可以 所以就是我看上看下 看左看右 它就随着我的视线摆动 是的 而且不管你怎么动 手部是不会出镜的 所以我们也是希望能够通过设计一种硬件 让这种收集和收集方式 变得更scalable(可规模化)

特别有意思 那你们现在的体量 是可以收集多少万小时的数据了 我们一个月 最高的产能可以到45万小时 就是45万小时每个月 所以你们现在手里面 是有多少个小时的数据 我们接近差不多200万小时 那现在已经是一个什么样的量级了 在同行业里面可以说是最多的 对 最多的 而且是相对高质量的 Egocentric dataset(第一人称视角数据集)

我刚才一直听你说高质量 就是怎么评判什么样叫高质量 因为我也有听到机器人公司的研究员 跟我说 就很多公司跟他们说 它们有很多万小时的数据 结果拿到之后一训练 发现质量非常低 根本没法用 那怎么去评判这个质量的高低 是的 就是质量本身也是迭代的过程 从我们刚开始2025年那个时候 完全没有质量的感受 到今天我们有非常严格的质量管线 它会包含几个主要内容 第一个是你首先要提供tracking 就是你的跟踪信息 所以你的tracking的准确度要高 而这些都是要到毫米级的 第二个是数据本身要具备足够的多样性

你要提供更多的data diversity(数据多样性) 给到你的模型 第三个是你本身数据需要有一定的量 你每天一小时 你的客户肯定不够用 所以这三个叠加在一起 会变成一个数据包 除了tracking accuracy(追踪精度)以外 会有更多的语言标注的信息 叫language annotation 然后还会有视频本身 能不能代表一种有意义的任务输出 比如说你一直在那玩手机 或者是挠到这挠到那 这些都属于非有效的输出 所以有效的事件再加上 准确的tracking(追踪)

再加上准确的annotation(标注) 并且把它变成一个数据包 这叫一个有效的并且高质量的数据 你们收集到 大家戴着这个头盔 然后再做各种各样的任务 然后收集到这样的一个视频数据之后 你们再做什么样的处理 然后再给到客户 算是一个数据的完成呢 现在我们在收集完 所有的毛坯数据之后 需要经过一个非常漫长的数据管线 然后非常复杂的数据管线 最后你才能给到客户 然后让客户进行使用 这一套管线出来的结果叫 Training-ready dataset(可直接训练的数据集)

或者叫high-quality dataset(高质量数据集) 它可以拿来直接去训练了 而中间的这一套过程里面 需要对手部进行标注 然后需要对语言进行标注 视频需要理解 然后进行语言标注 以及对整个的视频进行index 就是去进行归类 它到底是什么 并且最后有一步还需要QC(质量检查) 我们同时会有一些 human-in-the-loop(人工参与)

方式 来去验证这个数据的质量 这是我们目前现在的管线 中间的淘汰率或者筛选率是多少 说实话这种数字很难评判 因为很多我们筛选出来的 比如human-in-the-loop(人工参与)方式 我们会把它作为一种继续的recipe(训练配方) 把它继续回到我的管线里面再重新的过 我会把整个数据的叫confidence level 就是叫置信度 会分成不同的等级 然后让它去对应不同客户的要求 这样我对整个dataset(数据集)

会有不同的分级 就有些客户它对数据有非常高的要求 非常高质量的数据 有些客户就觉得这些质量低一点的也好 我也收 理论上 客户都需要高质量的数据 低质量的数据给谁 只是他对于要求会不一样 然后我们比如说 低质量的其实我们更多 是叫general dataset(通用数据集) 这种general data(通用数据) 它会回到我们的管线里面 会重新做 我们不会给客户低质量的数据 低质量的数据会让我们 重新去认知我们的模型 在去标注的过程中 到底问题出现在哪儿 帮助我们去重新认知

整个data pipeline(数据处理管线) 怎么样去迭代 到今天为止我们的data pipeline(数据处理管线) 已经过了差不多六遍或者七遍了 这是整个行业里面最重要的核心部分 我们刚才说到就是数据分三类 一个是遥操数据 一个是egocentric(第一人称视角) 然后是合成数据 Egocentric和UMI的区别是什么 UMI data(通用操作接口数据)

它其实是人手会拿着一个gripper(夹爪) 把gripper(夹爪)的形态和 机器人本身的gripper(夹爪)形态会进行 它直接可以去做retargeting(动作重定向) 然后UMI data(通用操作接口数据)本身上面 还会带一个egocentric data(第一人称视角数据) 现在比较流行的是这种一套的方式 然后对于egocentric(第一人称视角)

本身 它是直接裸手的 它没有任何的gripper(夹爪) 对 所以它唯一的区分就在这 那为什么要有gripper(夹爪) 这个就要看到整个模型训练的三个阶段 其中有叫pre-training(预训练) 大家都知道 Post-training(后训练) 大家也知道 现在会有一个mid-training(中期训练) 这个mid-training(中期训练)

会更多的用UMI(通用操作接口)来去做 甚至可以 在post-training(后训练)里面 用UMI(通用操作接口)来去做 因为对于机器人来说 现在更加或者相对可靠的方式 Gripper(夹爪)是更流行一些 当然有很多灵巧手 我们也会设计 所以我们的egocentric data(第一人称视角数据) 不仅能够对应gripper(夹爪)

也能对应手 但UMI(通用操作接口)本身 能够直接映射到gripper(夹爪)上面 会更快更有效 就是说它是更适配那种夹爪的机器人 但本来如果我的机器人 是一个纯humanoid(人形机器人) 我就是灵巧手 有五指手的 就没有必要去用Gripper(夹爪)的 那个UMI(通用操作接口)数据了 然后刚才你说到现在是 Ego加UMI的一个结合 为什么要有这个结合 机器人公司 训练出来的是 又可以去操作它们的灵巧手 又可以去操作gripper(夹爪)

这还要看客户不同的形态 因为有一些客户它的形态更偏向gripper(夹爪) 所以它就会更依赖 更依靠UMI(通用操作接口)的形态 有些客户大部分都是灵巧手 那它就直接会从灵巧手本身的这种形态 会直接映射过去更好 更像手 那成本上有区别吗 采集的时候 我们认为采集上面的成本相差不大 但主要是 中间的data pipeline(数据处理管线)

处理的成本 就对于人手的处理 UMI data(通用操作接口数据) 它在采集的时候 它的效率会比人手会低很多 但是因为 你是要操控一个东西去做任务的 那肯定不如人手自己去操纵要好 你做饭也不会用两个gripper(夹爪)做饭 是 用UMI(通用操作接口)去做的时候 它的效率会低一些 但是它过pipeline(数据处理管线)

的时候 它的pipeline(数据处理管线)会简单 相对简单一点 但人手动作很真实且不可控 它会有非常多的edge case(边缘情况) 所以你在过pipeline(数据处理管线)的时候 你需要对这些edge case(边缘情况)进行处理 举个例子 比如说你的手会经常有遮挡 你这样子 你ego(第一人称视角)的时候 你可以这样 这样很难处理的 你的手看不到嘛 你会是这样子 或者我们多只手在同一个镜头下 我们握手 都很难找到这只手的稳定输出 所以pipeline(数据处理管线)

要非常强大 你才能提供这些高质量的数据 那你觉得现在客户们都在买什么样的数据 你觉得今年客户们都在买 Human-centric(以人为中心)的数据 我觉得客户本身 它对于数据的recipe(训练配方)的需求 公允地讲 它有teleoperation(遥操作)的需求 然后也有human-centric(以人为中心)的需求 就是ego(第一人称视角)

的需求 有UMI(通用操作接口)的需求 目前在我们的观察来看 对于egocentric(第一人称视角) 就是人手的需求 是量最大的 我们可以想象一下 它不需要中间形态变成gripper(夹爪) 我们把人手变成机器的灵巧手 直接就可以下地干活了 像人一样 那这样多具备想象空间了 如果我们从成本方面来看的话 遥操数据是最贵的 那仿真的数据 合成的数据是最便宜的 然后ego(第一人称视角)

是在中间那一档的 是吗 理论上是的 但说实话 我觉得现在仿真数据 在2024年的时候 我们就研究过 我认为仿真数据本身 不是一个销售的产品 因为客户本身知道它非常便宜 你可能可以产生很多 那我客户自己 我就可以去做仿真的事情 所以 仿真数据 不是一个数据公司的一个主要的方向 但是仿真也有一些可以做的事情 比如说你可以做一个环境 你可以做数据资产 这些是仿真公司应该真正聚焦的 但数据本身我们认为 最主要的现在两个来源 从供应商来的 一个是tele

原文超出正文长度上限,此处截断——上游还有内容,完整版见上方「原文 ↗」。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

关联信息,但可能不是同一事件