跳到主内容
@wquguru
精选70小互产品发布/更新

Egocentric API:视频动作拆解工具,精准追踪双手

兄弟们,这个好,而且感觉用处很多

原文
发到 X

兄弟们,这个好,而且感觉用处很多

Egocentric API:视频“翻译和拆解”工具

以前你给机器人一段操作视频(比如它怎么抓东西、怎么放东西),它只能看个大概,用这个之后,它能把这段视频拆得非常细:

  • 把一整段动作拆成一个个最小的动作单元(比如:伸手 → 抓起 → 抬起 → 移动 → 放下)
  • 每个小动作还给你打上清楚的文字说明

最牛的是,它能精确追踪两只手,知道哪只手在干什么,甚至能标出每个手指的动作

相当于给机器人视频做了一次超级精细的字幕 + 动作分解。

它跟别人有什么不一样?

现在市面上很多 AI也能看视频,但它们主要是“看画面猜”。而 Perceptron 这个东西把手当成了核心:

它特别擅长理解手怎么动的

能区分左手和右手

能知道手什么时候碰到东西、什么时候松开

这些信息对训练机器人特别重要,因为机器人最难学的就是“手怎么操作物体”

它不是在“看视频”,是能“理解手的动作”,并学习...

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

关联讨论

同一事件的更多信源

相似阅读

另一事件,读法相近