对话前DeepMind曹原:AI for Science爆发,新时代到来
对话前DeepMind曹原:AI for Science爆发,一个新时代到来了
做AI for Science或关注前沿科研自动化的同学必看,曹原把AI4S、AI4AI、RSI的概念和验证瓶颈讲得很透,还给了谷歌留不住人的内部视角,值得收藏。
8月第一周 谷歌灵魂人物Jeff Dean宣布离职 带着其它几位高管出走成立Discovery Loop公司 致力于加速生命科学及其他行业的研究进程 在硅谷 这标志着AI for Science这个赛道 开始爆发 科学和技术怎么用AI自动去推动 这是太重要的topic(课题) 不仅是对一个组织 对一个公司 对一个社会 甚至对一个国家 人类社会发展最终是由科学和技术来推动的 就在众多数学家、物理学家、生物学家 加入OpenAI和Anthropic等顶尖AI实验室之际 AI正在改变人类研发科学的范式 OpenAI宣布模型Astra 推导出了10道人类长期悬而未决的数学难题 Anthropic未发布科研版Claude 将黎曼猜想的相关零点下界从41.6%推进至67.2% 同时 AI在生物制药、材料、物理等领域 都在迅速将科学前沿快速推进 而AI自进化 形成研发闭环 是科研加速的核心 但这中间 人的角色 稍显尴尬 它能不能达到一个模型到实验的闭环 也就是我们说的这个loop(闭环)
最难 对于AI for Science 肯定是verification(验证) 它是一个瓶颈 一旦这个瓶颈被打破了 你就可以很快地迭代 数学从一个证明稀缺的时代 已经进入到了一个证明过剩的时代 人类不能理解的发现是没有意义的吗 它只能有部分意义 不是结果正确就一定正确 你需要去理解 然后去评判 如果这个AI我们承认并且接受 它是一个黑盒 并且心安理得地去接受它产生的结果的话 这会造成很多困难 如果这个结果不是完全可解释的话 概念抽象的过程 我认为可能是AGI的 最后的last mile(最后一英里)
(AI)要想拿诺贝尔奖的话 要很长时间的 很长时间是多久 我觉得至少得二三十年 你觉得“符号主义”能够解决这件事情吗 所以我们就希望在外面有一层 就是说有一套机制 能够帮助它产生一些新的不一样的想法 大家好 欢迎收看硅谷101 我是陈茜 这期视频播客我们来聊聊AI for science 加入我们的嘉宾 是谷歌DeepMind前资深研究科学家曹原 我们这期从AI科学自进化的方法论 聊到AI数学和AI物理的应用 到了最后甚至还聊到了一些哲学问题和人类的意义 挺有意思的 也欢迎大家在评论区和我们讨论 以下 就是我和曹原的视频播客 曹原 非常欢迎你来做客《硅谷101》
要不要跟我们的观众介绍一下你自己 大家好 我叫曹原 我原来是Google DeepMind的科学家 我也是AI一个startup(初创企业) 叫Unreasonable Labs AI的 co-founder(联创) 我们的startup(初创企业)主要是做 AI for knowledge creation(知识创造)
以及AI for Science 和R&D(研究与试验发展)的一些研究 我们今天录制的这个时间特别巧 因为就在昨天 Google的Jeff Dean宣布说 他要带领一队的科技高管出来 然后自己做一个公司叫做Discovery Loop 他们其实也是想做一些 AI for Science之类的 这样的一个事情 我看很多人的评论很唏嘘 说这是一个时代的结束 是另外一个时代的开始 我理解说结束的时代是Google的时代 开启的时代 可能是一个新的AI for Science的 科学研究的时代 可以这样理解吗 我觉得这个事情应该从几个方面去解读 第一个就是说Google里面有很多人才 DeepMind很多人才 然后有很多团队 在过去可能几年前 每个团队可能各自关注一些课题 互相不是特别干涉 但是从三四年前 Gemini这个项目开始之后 因为Gemini毕竟是一个最大的项目 也是很重要的项目 这种项目需要集中力量办大事 从那个时候开始 这个对于整个人员组织和项目的管理 带来很大的一些挑战 所以不可避免的 内部会有些冲突 第二个背景是说 我相信大家也可以看到 在过去的半年左右 Gemini的表现可以说不尽如人意 今年年初的时候 你说Gemini 3.1 Pro可能还算 在这个排行榜上 还可以算是比较好的 一个language model(语言模型)
但是过去的三四个月 大家可以看到 不管是Anthropic还是OpenAI 包括中国很多开源公司 他们的模型能力在突飞猛进 但是相比来说 Gemini整个3.5 Flash 以及最新的3.6 Flash 表现来说应该是比较平平的 而且大家都非常期待3.x的Pro 目前还没有正式发布 总体来说就是Gemini这个进度非常落后 在这种情况下 在商业模式上去追赶 比如说像Anthropic他们 以coding agent(编程智能体)
为主的 这么一个新兴的能力 要把这个商业的模式转向那个方向的话 其实还是有很大困难的 第三个就是Jeff Dean和Oriol Sanjay和Quoc 他们做这个Discovery Loop 这个课题本身其实就是能够让AI 自己去做知识开发 知识的发现 以及做自动科研 这个其实跟我们的创业公司 当时想做的方向是非常一致的 我就是说这个其实是有一定的逻辑上的 非常顺理成章的延展性的 因为AI发展到现在这个阶段 在过去的两三年带来数学和编程这些东西 这可能是大家过去两年最关注的 关于AI智能能力的一些体现 能够自动写代码 能够解决一些奥林匹克数学问题 那么自然可以想象说 等到这些问题解决之后 下一个能够让AI的智能得到爆发的 能够产生巨大效益的或者是产生一些 帮人类解决更大问题的这个话题是什么 很显然就是能够把数学和代码这些能力 推广到更广泛的科学知识发现 这个能力上面 所以 从今年开始大家可以看到有很多 关于knowledge discovery(知识发现)
AI for Science 然后recursive self-improvement(递归自我改进) 这样的一些startup(初创企业) 我相信像Jeff, Oriol, Sanjay和Quoc 这样一个明星团队 他们出去做一个startup(初创企业) 一定是想做这么一个领域的新标杆 能够成为一个新的Neolab(新型实验室)
这样的一个设想 但是另一角度来讲 所谓一个新的时代开启 然后Google可能是转向了或怎么样的 我认为这个言过其实 因为Google它拥有所有 能够把language model(语言模型) 做好的要素 不是说 不可能因为一两个人 哪怕是这些领导层 它的变动 这公司做不下去了 对不对 Google可能是这些大的科技公司里面 拥有所有做好AI的全栈要素的 这么一个公司 从底层的芯片到infrastructure(基础设施)
数据中心 到工具链 然后到模型层 人才 数据 再到上面产品的分发 到整个产品栈 覆盖非常广泛的消费者产品的分发渠道 全都有 完全不依赖于外部生态系统 所以不是说Google做不好 而是说在优先级上面 以及资源的投入上面需要做些调整 但我相信Google依然以后会 把这个能力做上去 我觉得还是很好奇 因为你刚才说了Google内部也有 对AI science(AI科学)
研究的队伍 这个方向也是之前DeepMind的前CEO 现在已经不是CEO了 Demis Hassabis非常看重的方向 甚至他们也是独立主导了 Isomorphic Labs这家公司 为什么Google留不住 包括你还有Jeff 这一群科学家 在Google内部去做AI4S这件事情 首先我想说的是 在湾区 在硅谷这地方 人员之间 现在目前这几个科技前沿的公司里面 这个人员流动其实是非常频繁的 不光是Google 对我个人来说的话 我之所以能够想出来做这样的一个事情 是因为我们之前也是在做Gemini 我们也是一直在做模型迭代 然后做后训练这些东西 但是我觉得我一直在去想一些 关于更深层次的 就是一些关于智能 怎么能够把这模型做得更智能 如果你要是想实现这个AGI目标的话 目前现在这个模型 的确是可以做好数学和写代码 这样的一些工作 但是很明显有些能力还是缺失的 比如说如果你真的想让它做好科学问题 想让它去解决科学问题的话 它的创新能力 它能够提出新假设 验证新假设 然后不断自我更新的这些能力 还是远远没有到达能够帮助人们 指数性增长科学知识的这么个水平 所以在这个方面 为什么会有这个缺失 对不对 然后怎么样能够进一步改进这个模型 使得它能够帮人类做出更好的一些事情 所以我决定可以出来试一下 这是我当时出来时候的动机之一 那Jeff Dean为什么要带人离开呢 能不能猜测一下 我觉得Jeff Dean在Google 是一个传奇式人物 不光是在Google 整个业界都是传奇式人物 对 他对早期的Google 一直到现在 整个Google可以说是 大部分因特网级别的这么一个基础设施 都是从他的一些工作开始的 从最早的MapReduce 到Spanner到BigTable 之后创立Brain Team, TensorFlow 最早的深度学习框架之一 到Google TPU 再到最后的Gemini 所以的确是非常传奇的一个人物 然后跟他出去的其他几个同事 Oriol和Quoc都是早期Google Brain的成员 他们已经共事了很长时间了 Sanjay是Google的元老 其实是跟Jeff Dean 基本上是在一个时间进来的 也是跟Jeff Dean合作了很长时间的伙伴 所以他们都是相互之间非常了解 我原来在办公室也经常可以看到 Jeff Dean和Sanjay他们 经常peer coding(结对编程)
就是两个人在一起写代码 他们每周有一天是必须就Jeff会(写代码) 是非常hands-on(亲力亲为)的 hands-on(亲力亲为) 对 两个都在写代码 所以我现在非常自然地说 如果他们想自己出去做些事情的话 这个是很顺理成章的一个组合 他们非常了解 而且都有非常强的技术背景 目前其实不仅是Jeff Dean离开了 我们在早之前的时候看见John Jumper 也就是AlphaFold联合的发起人 为此获得了诺贝尔奖的这名科学家 也是加入了Anthropic 为什么Google留不住这批科学家呢 因为我之前以为 Google是最重视AI4S的 这条道路的 之前Demis Hassabis 他其实是主导了这条路线 所以最近接二连三的这个 而且是核心人物的离开 让我还挺惊讶的 Google现在内部 DeepMind肯定是最高的优先级 是要把Gemini做好 做到SOTA(业界最佳水平)
做到跟Anthropic 跟OpenAI齐平的位置 齐平或者是更好 所以很多的工作重心 短期内的优先级必须往那个方向去转 包括像Jumper 包括原来一些做AI4S的人 他们的工作重心也会有变动 所以在这么大一个团队 然后有这么大优先级的项目情况下 你不可能让每一个人都非常满意 在Google有这么多人才 每个人都想做自己的事情 都有自己的一些想法 所以能够让 有这么多人才 怎么能够让每个人的能力和他们的诉求 得到最大的体现 最好的安排是非常(有)
挑战的事情 我认为Google其实已经在这方面 做了很多优化和做了很多调整 能够让他们每个人发挥自己最大的潜力 肯定在这过程当中 管理团队和科学家和工程师都在思考 和不断地更新 迭代这个过程 在管理上有很多挑战 但是我相信这个状况还是在变好 你觉得在变好 我觉得在变好 对 怎么去评判它在变好 我觉得就是 你不能再按照原来 像现在做大模型 做这样的东西 它是非常需要快速迭代 然后需要持续更新这么一个过程 Google要做的是革自己的命 然后能够把这个Gemini团队 做得像一个startup(初创企业)
一样 尽快地把智能先补上去 这就要求管理团队需要做很多的调整 对于在人员安排上 在每个人的 他们所能做的这个 包括整个项目怎么安排 这个是一定要有一些自我革新的勇气 我相信Google也在意识到这一点 而且会做这个事情的 是不是接下来有可能 有一些新鲜的血液进来 可能也会带来一些新的变化 就比如说我们看一下Meta 它有了Alex Wang进来之后 现在已经是有一些改善的迹象了 就最近的Muse Spark 然后包括他们最新出的这些 coding(编程)
的模型 外界反馈还挺不错的 肯定会有变化 但就是说做一个模型有几个因素 有几个要素 人力、人才 然后数据、算力以及 我觉得大家可能忽略的一点 就是整个项目管理 整个软的设置 每一个项其实都会有一些不同的 都会需要一些改进 这是一个持续迭代更新的过程 对于Meta来说 MSL(Meta Superintelligence Labs)
可能将近一年能够做到这个水平 其实已经是挺不容易的 但是接下去怎么能够 从这个水平做到SOTA 越往后做肯定是越难 越往上去挑战越难 你从0分做到80分 相对来说可能你是可以 在一定时间内赶上来的 但是如果你要从80分做到100分 甚至超过100分 这个是有更大挑战的 我觉得Google之前 其实已经做到了这个层面上 就是怎么能够再进一步往上 做到最好的这个位置 这是需要花很多功夫 而且要协调很多资源 需要大家能够非常有效地去安排各项工作 需要很快迭代才能做到这样的事情 那你觉得AI for Discovery, AI4S 还依然是谷歌非常着重去押注的方向吗 还是会是 对 你看前两天Sundar发的邮件里面 Demis虽然说从DeepMind CEO的位置(退下来)
但是他还是主管一个AGI和science的部门 Google是在所有的AI科技公司里面 可以说是在science里面最早布局的 然后布局得最广最深 这个生态体系 可以说做得最好的一个公司 科学和技术怎么用AI自动去推动 这是太重要的topic(课题) 不仅是对一个组织 对一个公司 对一个社会 甚至对一个国家 人类社会发展最终是由科学和技术来推动的 现在有这么一个工具 这么个聪明的AI的模型 你必须要把这东西能力推上去 在这个层面上是不可能说完全放手的 还是会有很大的课题 只是短期内可能会有一些priority(优先级)
一个优先级的调整 而且我相信Demis 虽然说他现在转为做Chairman(董事长) 但是他一定会在上面继续做很多努力 可不可以说Demis现在是退后一步 是因为他不太想管商业化的事情 跟产品的事情 但是他还是会非常地专注在 AI4S这一块上面 我认为这是其中一个原因之一 我相信Demis他 一直是一个比较看重长远的发展 特别是在这个技术方面 长远发展 而且他个人的气质更像一个科学家 而不是说像一个CEO这样的 主管产品或商业这些东西 而且DeepMind跟Brain Team当时合并 很大程度上就是因为 要尽快能够把Gemini做上去 能够能赶超GPT这样的一个努力 但是在此之前 你可以看之前整个DeepMind 在伦敦当时 从大概2015年前后 收购到合并之前 所有这些Alpha系列 都是以科学研究为主 之后的很多效益 包括很多像产品上的落地 那都是因为有这些先驱的科学研究的成果 包括现在AI for RSI(递归自我改进)
比如说AlphaEvolve 能带动很多算法的更新 能够(带动)自动算法更新 像AlphaFold更不要说了 已经拿到诺贝尔奖了 那就商业化成这个Isomorphic Labs 所以我觉得谷歌有能力也有这个责任 去进一步推动一些长远的科技 和研究上的发展 我觉得Demis是非常适合这个角色 同时我们看到其他的AI前沿公司 包括OpenAI 还有Anthropic 其实也是把AI for Discovery 还有RSI这部分 放成了他们重点的布局方向 但是在我们来聊这三家公司之前 我们要不要给大家把几个概念给梳理清楚 因为最近大家肯定会听到非常多的关键词 是AI4S, AI4AI 还有RSI(Recursive Self-Improvement)
我们能不能把这三个概念给大家解释一下 AI4S或者是AI4AI 都是把AI这个模型当作一个研究员本身 去研究科学问题 或者研究AI本身自己的问题 大家想想 如果是像AI for AI的话 我这个模型已经很聪明了 然后我怎么能够发挥这个模型的聪明才智 来改善这个模型自己本身的一些能力 比如说 如果你给它一个要求 你给它一个任务说 你能不能用最少的资源 最少的GPU 在限定的预算情况下 能够把这个模型训得最好 对不对 当然人可以去做 但是如果能够让AI自己去做的话 它可能在尝试很多新的想法 新的一些实验方面 比人做得快得多 它可以比如说 它看了一下 你目前这个模型的codebase(代码库)
然后它发现 你这个参数可以调得高一点 它会生成一个proposal(提议) 生成一个建议说 你先试一下把这个参数调高点 AI 因为现在 它作为智能体的能力已经很强了 它可以去写段代码 把这个提议去实现 然后自动去写代码 把它放到一个沙盒里面去跑这个实验 去训这个模型 然后观测这个模型生成的最后结果 它的训练结果 拿到这个结果之后 作为一个反馈 然后再提出下一步 我发现这个 你把这参数稍微调高一点之后 模型效果变好了 那我是不是应该往这个方向 继续再推进下去 根据这样的反馈 进一步生成下一步的它的建议 一轮轮迭代之后 你可以看到它这个模型的性能 在不断地一步步提高 这就是一个自我不断回归的过程 所以这是像AI4AI 这么一个非常简单的应用 当然现在有人是用AI for AI 有些初创公司在探索能不能找出 跟Transformer不一样的一些架构 因为这可能需要很多搜索 很多新的想法放进来 也有人在探索说 AI4AI 能不能找到一个 不需要Backpropagation(反向传播算法)
就是反向梯度传递的新的优化算法 所以如果用AI去研究问题 它可以更高效地去搜索很多不同方法 试很多方法 而且整个loop(闭环)都自我完成 同样的 对于AI for Science只是换个问题 只是说你用AI去做些科学上的问题 但整个方法差不多 RSI就是 RSI不是一个task(任务) 它是一个方法 就像前面说的 我能够不断自我迭代 Recursive Self-Improvement 不断用自我迭代方法去更新这个任务 或者更新这个proposal(提议)
以至于它能够不断自己 把这个任务越做越好 所以这是这些概念的一些差别 其实AI4S跟AI4AI都是类似的 只是它们的目标不一样 然后RSI它是一种方法 它可以用在AI for AI 也可以用在AI4S上面 好 这个非常的清楚了 下一个问题就是说 为什么在这个时间点 特别是在 现在是2026年的8月份 为什么在这个时间点 AI for Science爆发了 我也理解 它可能也不是一夜之间就爆发的 而是之前有一个缓慢的进展过程 我们看到包括谷歌的AlphaFold RoseTTAFold等等一系列模型的进展 那么在此时此刻 哪些技术你觉得是成熟了 然后让AI4S 可以在这个时间点爆发了 前两年AI的发展 最能够体现这个推理能力和智能的 就是代码和数学这两个问题 这两个问题到位之后 如果它自己AI能够很可靠地写代码之后 同时你这个AI 这个agent(智能体)
整个智能体 所谓harness(挽具/驾驭系统) 就是它外面怎么
原文超出正文长度上限,此处截断——上游还有内容,完整版见上方「原文 ↗」。
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力