田渊栋谈RSI:46.5亿美元估值与AI自进化
再访田渊栋:46.5亿美金估值的RSI,与AI自进化|Neolabs特辑【101视频播客】
田渊栋是AI领域知名人物,RSI的豪华创始团队和巨额融资反映了行业对递归自我改进路线的看好,适合关注AI前沿趋势的从业者深入了解。
大厂不需要那么多人了 所以大家就得找到自己的意义 所以大家就得找到自己的意义 今天的这期视频播客 我们来到旧金山城里 嘉宾是我们的老朋友了 田渊栋 田渊栋作为 Meta基础AI研究实验室FAIR前研究总监 在去年被裁员之后 历经半年 他最近是官宣了新动向 与其他7位顶级研究员一起 创立了新的AI研究公司 Recursive Superintelligence 简称RSI 融资6.5亿美元 估值达到46.5亿美元 这个令人瞩目的新实验室 想做什么样的事情 为什么资本会如此看好他们 那么过去半年 AI市场的格局迅速变化 他又如何看待模型技术的趋势与瓶颈呢 你是正式的官宣来到了RSI 半年前接受你们采访的时候 其实已经差不多定了 很小很精的团队把一件事情做成了 成为一个大的趋势 但RSI有8个co-founder(联合创始人)
在没有任何产品出来的前提下 在没有任何产品出来的前提下 为什么觉得资本会对你们买账呢 最顶级的资本还是看人 Recursive self improvement(递归自我改进) Recursive self improvement(递归自我改进) 你们为什么觉得这个方式很关键 用AI来优化很多的 AI自己的一些东西 AI自己的一些东西 让AI变得更强 用AI来做新的发现 我们可以增加人类社会进步的速度 那如果说你们的最终目标是10的话 你觉得我们现在 大概是在一个什么样的阶段 也许我们现在在1和2的这个位置上 你们实验室会从pre-training(预训练)
从头开始做吗 商业化方面 有任何的思考吗 迭代速度可以披露吗 你们为什么要把自动化AI科研作为第一步 我们应该把目标放得更长远一点 因为如果我们对这个 对科学的研究的过程本身有建模的话 你可以拿来做很多事情 你怎么看世界模型的 我觉得语言跟视觉相比 语言还是一个更加有信号的东西 有一些前沿的路线 是想把diffusion(扩散模型)
跟LLM有一个组合 速度上来说 肯定会变更快 pre-training(预训练)的上限 其实是决定了RL强化学习的上限 这也是我的观点 所以有可能是错的 你说大家迟早全部都要失业的 L4和L5的这些工程师 L4和L5的这些工程师 他们的能力 就是AI很多事情其实可以做的了 coding(编程)之后的下一个 The next big thing(下一个大方向)
是什么 我觉得是AI research(研究) OpenAI跟Anthropic的一个比拼 你会觉得是什么样的一个结果 谷歌还能够追上来吗 你觉得xAI发生了什么 说说Meta 你怎么评价Muse Spark 大模型里面没有永远的赢家 大模型里面没有永远的赢家 应该这么说 前沿大模型之争 其实最后变成了一个组织架构之争了 应该说组织架构在这次的技术进展中 有很大的一个角色 Meta最近有点争议 他们要强制蒸馏员工这个事情 吸星大法 顷刻炼化 炼化了之后 你就被踢出去的话 大家都不会开心的 你就被踢出去的话 大家都不会开心的 应该比较不太顾及员工感受 感觉是个大趋势了 它就相当于一条鱼在水坑里面跳 水总的来说是越来越少的 所以你永远找不到 你最终一定要变成一个四维生物 你才能活下来 接下来就跟我走进RSI 以下就是我与田渊栋的专访 非常感谢渊栋 欢迎来做客《硅谷101》
非常感谢你们又过来 我们可以继续下一轮的采访 现在距我们上次聊的时候 其实过了半年的时间 我知道当时你刚从Meta出来 你当时跟我说 已经有很多的团队跟公司在跟你接洽了 那其实现在你是正式的官宣来到了RSI 那其实现在你是正式的官宣来到了RSI 能不能跟我们说一下 为什么最后选了这家公司 应该说这么说吧 其实我当时 半年前接受你们采访的时候 其实已经差不多定了 对 其实应该说是一个 比较快速的一个决定的过程 我其实也有不少人当时联系我 应该说就是在10月底到11月初 这段时间之内 我的手机基本上是被打爆的状态 我所有的消息我就属于不能回复 因为太多了 看不过来 那最后还是选了这个 觉得对于现在的 大模型的这个趋势来说 应该说团队小型化 然后团队的速度变快 团队之间的摩擦变少 很小很精的团队把一件事情做成了 成为一个大的趋势 成为一个大的趋势 有这个趋势之后 你再在大公司里面再待着 可能就不太方便 其实我也亲眼目睹过很多的 这种大团队有大团队的一些问题 当时也不少的大团队想来找我 当时有Anthropic的 有xAI的 有Amazon的 Apple的 Microsoft 但是后来你会发现在找我之后的 可能大概两三个月之后 有很多人 当时找我的人都走了 大家看到了很多的消息 当然我也就不一一列举了 其实这个原因是因为 对大团队来说 对大公司来说 他们这个组织架构比较臃肿 或者人比较多 那么就一定会有问题 就是对CEO CEO是非常急 他希望这公司能成功 他就会有很多的命令 或者说很多的指示 去指导下面去做 但对于大团队来说 他就要花很多很多时间 去适应上面的这个要求 同时对齐下面员工的一些想法和愿望 那如果是这样的话呢 这个过程 这个速度是应该说是 远远慢于小团队的这个对齐速度 所以你会发现 最近有很多的大公司、大团队 他们频繁地会reorg(组织重组)
频繁地会裁员 会改变自己的方向和战略 主要原因还是因为这个组织沟通上的速度 是根本已经跟不上AI的发展速度 所以是这样的原因 当时我毕竟在Meta我也待了也快11年了 所以我也是能亲身都感觉到了 这样的一种趋势 所以这段时间之内 就是正好Meta也给了我这个机会 那我就去过一个不一样的人生 大概是这样的想法 那其实当时来找你的 可能也不只是RSI 这一家的初创公司跟neolab 对吧 对 为什么最后选了 当时是Richard Socher亲自来找你的嘛 是的 为什么选择了这一个团队 我觉得应该是这样吧 一个是这支团队刚刚组建 所以当时我也跟 就是Richard 还有(熊)
蔡明 还有Tim Shi(施天麟) 还有Tim Rocktäschel 都聊过 所以我觉得一个是团队刚组建 所以机会应该比较大 这是一个 另外就说这团队里面 有两到三个人我以前认识 而且其中像Tim Rocktäschel 跟我以前是同事 他以前也在Meta 在Meta伦敦 做reinforcement learning(强化学习)
我在加州这边 做reinforcement learning(强化学习) 所以也比较熟吧 同时 这个团队刚刚组建 所以也是一个很好的一个机会 蔡明跟我之前也有很多联系 对 所以有这个联系之后 我觉得其实可以尝试一下 所以可以做一下这样的事情 那么其他的很多的初创团队他们也来找我 但很多时候这个机会 相对来说是稍微没有那么好 比如说他们希望招聘员工 或者说希望让我进来做 比如说像head of AI(人工智能主管)
或者head of research(研究主管) 这样一个职位 当然了 对我来说要创业的话 那你希望 做co-founder(联合创始人)更好一点 那当然是有这个机会 但RSI有8个co-founder(联合创始人) 对 这个还挺罕见的 当时是怎么样一个架构 您给我们讲一讲 我觉得是这样吧 因为每个co-founder(联合创始人)
他们的专业知识是不一样的 他们各自有各自的擅长的地方 和比较欣赏别人的地方 对吧 所以相对来说我们这8个人 还是比较互补的 有这个互补的基因的话 而且大家都是聪明人 所以我觉得合作起来其实也比较顺利 能不能跟我们介绍一下 这8个co-founder(联合创始人) 你们各自分别负责什么样的工作领域呢 像Richard Socher大家可能知道 他一直是做CEO的角色 他之前创立了MetaMind 然后被Salesforce收购了 收购了之后他在Salesforce待了四年吧 做chief scientist(首席科学家)
这个之后他出来开一个新的公司 叫You.com 现在也是有盈利 还是不错的 现在他又出来成为我们这边的CEO 是这样 然后像蔡明 熊蔡明之前是跟Richard一起 做MetaMind的 他们被Salesforce一起收购了 收购了之后 在Richard走了之后 熊蔡明他就成为了这个 Salesforce Research的 Senior VP(高级副总裁)
然后在Salesforce待了十年多的时间 还有比如说像Tim Rocktäschel 他以前是我在Meta的同事 他在Meta待了四年之后 他就离开了Meta 去了Google DeepMind 在DeepMind 他是Project Genie 1、2、3的负责人 一个负责人 这个是大家都知道做世界模型的 同时他也领导了一个团队 叫agent Open-Endedness 这个团队的方向 其实应该说跟我们现在做的方向 是非常接近的 是非常有相关性的 他其实在Google的口碑是非常好的 其实我们融资应该说他有很大的一个贡献 就是说他其实在Google口碑非常好 所以Google Ventures 当时他们做背调 就是给了个非常好的一个分数 比如说还有Jeff Clune Jeff Clune是 也是做这个agent Open-Endedness 这样的一个方向 那么他的团队其实 在过去的10年里面一直在做这个方向 应该说非常投入 非常深入 他们最近的一篇文章叫The AI Scientist-v2 这篇文章其实已经被Nature收录了 所以应该说这个方向上 他的学术影响力是非常大的 像我们这边还有Josh Tobin Josh Tobin他是以前OpenAI的早期员工 他自己出来开公司之后 公司被OpenAI收了 之后他又回到了OpenAI做agent (智能体)
Science lead(科学主管) 那他在agent(智能体)这方面 有很大的经验 还有工程上有很多经验 然后他就到我们这儿来 是这样子 还有一个像Alexey Dosovitskiy 他以前是 很早以前是做强化学习的 我大概十年多以前就认识他 当时我们是 都是做强化学习的 当时有个游戏叫Doom 是叫毁灭战士 我们当时是一个赛道的第一名 他是第二赛道的第一名 所以我们通过这个方式我们认识的 后来他去了Google 做那个Vision Transformer 他也是Vision Transformer的一作 Vision Transformer 是一篇非常有影响力的文章 他第一次把Transformer带入了 Computer vision(计算机视觉)
这个领域 证明了数据量足够大的情况下 Transformer在视觉上效果也很好 这篇文章其实影响力非常大 他其实是在里面做很大的贡献 之后他离开了Google 去了比如说一些小公司 AI for science公司 他现在过来也是给我们做co-founder(联合创始人) 所以应该说还有比如说像那个Tim Shi 施天麟 对吧 对 他是之前Cresta的 他是Cresta的CTO 对吧 所以他在Cresta做了很多年的时间 把Cresta做成一个非常好的公司 那么他现在对recursive(递归)
对我们这个愿景有很大的兴趣 然后他就离开了以前的公司 他把CTO的职位都辞了 来到我们这儿来做联创 所以这么8个都是非常顶级的人 非常核心的这个AI researcher(研究员) 跟行业从业者聚集在一起 你们不会打架吗 就是我觉得 每个人都是非常的有自己想法的人 就是如果你们遇到不同的意见怎么办 这个我们还是比较民主 我们会有很多讨论 很多思想上的碰撞和考虑 最终还是会有一些想法和逻辑大家同意的 我们一起做的 所以应该说 至少目前为止 我们的合作还是相当好的 而且大家都是聪明人 和聪明人合作 其实应该说是比较省心的 大家都希望花很多时间 很多精力 把事情都做好 然后把盘做大 我觉得这个其实是一个很好的一个状态 你们宣布的这轮融资 我觉得还是挺让人瞩目的 6.5亿美元的融资 46.5亿美元的估值 在没有任何产品出来的前提下 为什么觉得资本会对你们买账呢 为什么觉得资本会对你们买账呢 应该是这么说吧 我觉得资本其实还是看人的 就是最顶级的资本还是看人 就是最顶级的资本还是看人 因为投资 融资也好 因为投资 融资也好 比如说最终的商业愿景也好 最终的产品也好 在AI这个非常 变化非常大的领域里面 其实很难在一开始就讲得非常的清楚 很多时候是这样了 就是你今天说我们要做这个 然后过了两个月发现 谁谁谁又出了点新东西 那么这个时候团队要怎么应对 他是不是能很快的执行力做一件事情出来 这个其实是最重要的 应该说资本最重要的还是看对人的判断 人的以前的经历 还有人的能力 和团队成员之间的一个磨合和合作的程度 这个是最重要的 所以这么多钱进来 这么多人愿意投资我们 其实还是能看中我们以前的履历 和我们对于这个愿景上的一个投入吧 你在其中主要负责的部分是哪些 因为我记得上次我们聊的时候 你说下一份工作想做工程加前沿研究 结合的这样的一个岗位 因为我在说这句话的时候 我已经知道我差不多要来了 所以 埋了一个伏笔 我可能埋了个伏笔吧 就是我大概说的时候我心里在想 我不能跟你说 我不能跟陈茜说 我已经加入这家公司了 或者说我即将加入这家公司 因为这还是保密的 但是我也希望给大家说一些 比较明确的一个路径 所以大概是这样 那确实就是我现在来了之后 也是大概是这样的一个结合 因为我们这边以前 就是像我和(熊)
蔡明 是做modeling(建模)做得比较多的 那我们还可以继续做这个modeling(建模) 做一些建模 做一些训练 后训练这样的一些工作 然后工程上也是有些东西也可以做 像agentic harness(智能体控制) 我们也会做一些 那接下来我们就聊一聊公司 聊聊RSI 首先你们的这个名字 RSI是Recursive Superintelligence的缩写 所以可以看出来这个recursive 它中文叫递归式 这个技术是一个关键词 非常的重要 能不能给我们介绍一下RSI主要想做什么 Recursive self improvement(递归自我改进)
究竟是什么样的一种方式 你们为什么觉得这个方式很关键 你们为什么觉得这个方式很关键 我觉得是这样 递归自我改进的意思就是说 我能不能用AI来优化很多的 我能不能用AI来优化很多的 AI自己的一些东西 让AI变得更强 通过这方式再左脚踩右脚 再踩上去 大概是这样的一个逻辑 具体来说 就是说我们希望用AI做很多的 现在也需要人工来做的一些事情 比如说像科学家发现新的想法、新的逻辑 科学家像比如说训练的过程 需不需要用AI来做强化 用AI来做新的发现 用AI来做新的发现 这个其实都是在 我们这个recursive(递归)
里面的 我们最终的愿景是希望有一个很好的系统 这个系统里面 就是我放进去各种各样的计算资源 输出的时候能输出新的知识 新的见解 新的洞察力 大概是这样的一个东西 对 所以其实 我们recursive(递归)的网站上就说了 maximizing knowledge discovery rate (最大化知识发现速率) 对不对 所以通过这个方式 我们可以增加人类社会进步的速度 我们可以增加人类社会进步的速度 提高人类社会对新知识发现 和新知识理解的一个能力 目前我们看到比如说前沿大模型 OpenAI、Anthropic、Google 那主流做法还是依靠人类去设计模型 然后收集数据 大规模地训练 人工标注对齐 那我听你之前有一些分享 你认为说这条路上人类是一个瓶颈 你们押注的是让AI能够自动化研发过程 是不是 中间能不能跟我们展开来解释一下 怎么能实现 对 因为其实应该说现在人类 或者说研究员 其实在做研究的时候 或者在做AI发现的时候 大部分时间还是浪费的 也不能说浪费吧 就是说因为人有自己的生理极限 你要吃喝拉撒 你要睡觉 所以你没有办法百分之一百的时间 花在这上面 所以很多时候就是如果用AI来至少代替 或者说让AI来做一些人类 认为比较繁琐、比较繁重的 或者说比较重复性的劳动的话 这肯定是可以的 这是第一步 第二步就是说我们是不是能够让AI 在这个劳动之上 能不能就是发现新的 自动发现新的一些洞察 新的一些 重要的这样的信息 用它加速AI的整个人类发展的进程 那AI系统学会的东西 它是一个真正的能力上的提升 还是在某个评估指标上的过拟合呢 你觉得 我当然希望AI最终能达到能力上提升 因为能力上提升 就是说可能AI现在能做 比如说相对来说本科生能做的事情 那么我们希望AI以后能做 硕士生或者博士生能做的事情 或者说更高的 比如说研究员能做的事情 我觉得这样的程度是我们想要达到的 你说benchmark(基准测试)
这个事情 应该说是这样 你刷榜 或者说各种榜单是 达成这个目的的手段 因为这个手段本身是比较虚的 或者说是比较高层次的 你要把它真的break down 或者说把它分解成一步一步的 这种小步骤的时候 你基本上每一步可能都有一些metric(指标) 有一些number(数值) 这就是benchmark(基准测试) 所以当这个AI系统 它开始自主地去设计实验 自主地去评估结果 那人类还可以作为一个可靠的评判者吗 你们怎么去解决所谓的 Evaluating the evaluator 也就是评估者本身也需要被评估的 这个递归的难题呢 我觉得是这样的 就是说至少现在AI 还是达不到人的评估的那个标准 我觉得 所以至少在一定时间之内 人类还可以作为评估者 这个没有问题 另外一个 第二个点 就是说等到AI厉害到一定程度之后 应该说很多的评估标准变得主观了 而不是非常客观 比如说你拿AI写code(代码)
比如说你发现 就是AI对于人类的指令非常的遵循 遵循得非常好 已经做得很好 那再往上走 比如说你要让AI去做一些人类的设计 比如这个代码怎么设计 人们怎么安排各个模块之间的关系 这种问题上来说 其实每个人的见解是不一样的 这样的话 你就会有一个subjective的 一个主观性的因素在里面 这种情况下 其实应该说已经很难有一个正确答案了 所以说每个人其实有自己的想法 大家都是对的 在这种情况下 其实并不存在说人类的能力达不到的水平 很多时候是依照每个人的想法 去完成你想做的事情 那怎么评估呢 就如果它变得非常主观的话 就这个时候其实很难去评估这个数字 就是说你可能最终 看最终结果 我与其说评估中间的状态 不如说 我加AI或者说人类加AI 最终得到一个东西能够让大家喜欢 或者说能够完成某件事情 那就可以了 所以这个评估就成了 就是从中间的benchmark(基准测试)
到最后的结果的评估 所以这个评估会往后走 这是我的一个预测 就会变得非常result driven(结果导向) Result driven(结果导向) 对 那么中间这些过程其实变成了一个 非常自由的一个地方 就是你可以做任何想做的事情 但最终目的是人加AI最终得到一个结果 这个结果是想要的 那这样的情况下 可解释性这件事情还重要吗 因为你之前也提到过 就是无论scaling(扩展)
最终成功还是失败 可解释性都是必须要解决的 如果成功 我们需要确保超级AI不作恶 如果失败 我们需要理解为什么模型在某些地方崩溃 那比
原文超出正文长度上限,此处截断——上游还有内容,完整版见上方「原文 ↗」。
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力