对话盛颖：xAI前推理负责人谈Infra、SGLang与创业

Hello各位 欢迎来到硅谷101 我是陈茜 这期视频播客 我们的嘉宾是 xAI前推理系统负责人 开源推理引擎SGLang的发起人盛颖 盛颖本科毕业于上海交通大学ACM班 之后在哥大获得计算机科学硕士学位 并在斯坦福大学获得计算机科学博士学位 她的研究经历横跨算法、形式化验证和大模型系统 大模型浪潮兴起之后 她成为LMSYS开源社区的核心成员 参与推动了一系列具有行业影响力的项目 并创办了推理引擎SGLang 之后 盛颖加入xAI 并共同领导Grok的推理团队 将开源研究带入全球最前沿的大模型工程实践 如今 她从SGLang开源生态中孵化出创业公司RadixArk 希望把只有少数科技巨头才能拥有的前沿AI基础设施 变成整个行业都可以使用的开放技术底座 RadixArk创立之初便完成1亿美元种子轮融资 投资方几乎集齐了硅谷所有的算力巨头和技术领袖人物 RadixArk最终使命是要做下一代AI 我想要build（构建）的那个未来 就是一个跟强力AI共存的未来 以模型为目标的这些公司 infra的美感上有所妥协 以我跟Infra的之间的浪漫的关系 我觉得Infra它不是一个辅助的角色 Infra本身在我眼中就是产品 你本身是一个喜欢intense（高强度）的人吗 我是个必须intense（高强度）的人 你是ADHD吗 但它不是一个疾病 它是一个特点 它是一个手册 我突然知道了 我应该顺着我的天性去做事情 然后你一旦悟到了这个之后 就很多事情就迎刃而解 你这个电视剧看到那一半 你突然诶 我怎么突然开始知道怎么解决这个问题了 暂停 去写证明 你还记得是什么电视剧吗 《甄嬛传》

世界上存在那么纯粹 那么好的导师 存在那么好的投资人 存在那么好的采访者 那些好东西都存在 但是你要非常相信它 你要相信到 你身边没有这样的人 你还相信它 然后有一天那个跟你一样相信的人 他有一天会跟你相遇 这期视频播客 我建议大家配合我们上一期的解释性视频一起看 上个视频我们从SGLang的技术入手 解释了AI infra的作用 以及软件层怎么能把“硅”的极限榨出来 相信对AI Infra的技术比较了解之后 再来看这期我和盛颖的对话 可能会有不一样的感受 还有就是嘉宾在美国多年 谈到技术的时候有些词汇用英文表达 我们也在字幕上给出了翻译 请大家多担待 那么以下就是我与盛颖的视频播客 非常感谢盛颖 欢迎做客《硅谷101》

感谢你们的采访 我看你们是刚刚搬来这个新的办公室是吗 对 6月1号刚搬过来 你们现在大概多少人 现在有40多人 扩张会非常的迅速吗 其实比我预期的快 因为事实上我们扩张规模增长得 也比想象的快 各个地方都需要人 我们能招进来的人也比我想象的要更 有更多合格候选人 所以我们也稍微有点压力 但是我们已经在控制 今天会讲一讲你整个的学生时代 到你之后的研究时代 再到就是你出来在xAI 还有你自己现在初创公司 我们可以按照这个顺序来讲 首先你其实是大学在上海交大 上了ACM的荣誉班 2017年就来到了美国哥伦比亚大学 读硕士学位了 你当时出国是因为大家都要出国吗 为什么选这条路呢 确实也是因为大家当时很多人是要出国 但是我其实对出国的概念知道得很晚 我觉得我从江西到本科的时候 是经历了很强的文化冲击的一种感觉 我觉得我身边的人 更理解职业发展、人生发展 他们有更多的规划 其实我是处在一个无知状态 我记得我本科刚毕业的时候 一开始其实我甚至没有申到什么 就是我申请了美国的大学 但我其实没有拿到录取通知 一开始 当时有一个港中文大学的PhD的录取通知 我接了甚至都已经 申请的时候我记得有个君子协议 4月15号 君子协议都已经过了的第二天 我突然收到了哥大给我发了一个 很普通的研究生 就硕士学位录取通知 它其实是个很普通的录取通知 就是很多人都能拿到 但是我当时就觉得 我想接触一些新的东西 因为那个时候的学术中心还是在美国 我觉得我想出去看到 哪怕哥大的这个硕士项目 它不是一个特别顶尖的项目 但我希望我想看到 当时还给我爸打电话说 我们前面PhD录用通知能不能毁 我还需要交一笔违约金 但是我想出去看看 我还犹豫了一下 给我爸打了一通电话 但我爸非常快 就是一分钟就说好 你去 就交了违约金 你说你从江西到上海 其实是有一段文化冲击的 你从上海到美国 也是不是经历了文化冲击 也有吧 我觉得我确实是每一段都是舒适圈打破 在早期的经历里 但是我在纽约的感受要 纽约是很包容的一个城市 这个冲击其实不太冲击 就是我感到不一样 但我觉得极大地被包容了 具体体现在什么方面 就是我觉得在纽约当时的文化 让我觉得没有人盯着我看 没有人在乎 我穿什么、想什么、做什么 我想要什么 我在纽约感受到的那个冲击更多的是一个 不需要被评判 也不需要评判别人的冲击 这个冲击是从一个被限制状态 到一个完全自由状态的一个（冲击）

对 它是个冲击 但它其实是个更放松的过程 挺好的 我看你在哥大硕士阶段 发表的论文还是比较偏理论的 主要是测试函数、线性回归的数学性质 后来到了斯坦福读PhD的时候 你选择了形式化验证方向 能不能先跟我们说一下在哥大 你从事的这些研究 其实对你后来的研究有产生任何的影响吗 我刚上研究生的时候是没有想要做研究的 但是我第一学期时候上了计算复杂性的课 当时觉得很有趣 我又碰巧交了一些当时的博士生朋友 他们都是做理论的 我就觉得这个领域非常有意思 我就找老师和这些同学们说 能不能有一些问题可以研究 研究了一段时间觉得很有趣 也有成果 所以自然而然地就到了斯坦福 就是你研究生毕业的时候 有考虑过 我要工作 还是说我要申请博士吗 我一开始是没有想要申请博士 或者说我也没有觉得我不会申请博士 但是我没有盯着这个目标去 我没有对着这个目标去 我觉得它是开放的 所以我也保留了这个选项 探索了一下 但我后来发现这个理论的问题非常有意思 我自己也非常享受 我当时就是觉得我甚至 也不需要赚很多钱 我觉得我想stay poor（保持清贫）

我想找一个没有人的地方 我当时有一次去普林斯顿 我去参加一个workshop 我当时被那个环境就直接包围了 进到普林斯顿校园那个环境里面 我就突然觉得与世无争 非常的学术 跟哥大（不一样）

它也不是学术 它就是与世无争 进到那里的感觉就是没有 就是会觉得你人世间的很多这种 大家所在乎的东西 你平时去挣扎沉浮的东西都非常没有意义 是学校的环境给你这样的感觉 还是说那边的人他的氛围是那样的 应该也还是那个workshop给我带来的 那个环境加上那个workshop里的人 大家讨论的这个氛围感 那个氛围感让我觉得 所有事情都是不重要的 我觉得人的想法 七情六欲都是不重要的 都是甚至看上去有点荒诞的 那什么是重要的 就是什么都不重要是重要的 就是一种虚无 你觉得虚无才是它真实的东西 就只有真实是重要的 真实是重要的 数学在那个环境下 就会显得特别的美好 特别的优美 因为它是确定性 而且是绝对化的 你在跟它打交道的时候 没有什么其他东西需要思考 它可以让你非常地沉浸和专注 或者说你可以在这个环境里面 进入心流状态 思考问题的时候进入心流状态 这个心流状态是与人无关 与其他所有事情都无关 大脑被完全地调转起来的时候 进入了一种生理性愉悦 我有点描述不出那个感觉 我能理解到你的意思 但是这个状态我觉得非常的纯粹 就是很纯粹 很像会成为一个数学家的人的状态 但是你后来为什么没有成为一个数学家呢 对 我当时就是很想成为一个数学家 我当时觉得我就要成为一个数学家 我觉得我只想做数学 但是 事情的发展总是 不是那么简单嘛 毕竟我还是有生活上的各种干扰 到了斯坦福之后第一年也确实没有再 我觉得到了斯坦福我就没有那个感觉了 所以斯坦福不如普林斯顿纯粹吗 普林斯顿那个只是一场旅行 我人在哥大 但是我在哥大的时候也能感受到这个氛围 我甚至现在觉得 是不是西海岸和东海岸 其实有点这种文化的差异性在 西海岸就是慢慢你会感觉到更多的这种 关于成功与否的这种noise（噪音）

就是你想要参与世界的推动 我又开始觉得我跟世界有关 我又觉得我不想跟世界无关 但我在东海岸的时候 我觉得我希望我跟世界无关 我希望我被世人遗忘 很不一样的一种感受 但我在斯坦福第一年的时候想做理论 那个时候 斯坦福是有PhD rotation program（博士轮转制度）

要配导师 配到了之后才决定你后面5年 PhD的旅程怎么走 前面几期我觉得是因为各种各样的原因 比较复杂 各种各样的原因 没有再遇到很 很让我觉得能够进入心流状态的问题 也没有跟哪个老师能够双向的 都觉得很兴奋 可能老师们也觉得我对他的问题 不是特别感兴趣 有一些情况有时候我可能也觉得 那个老师我们没有完全匹配上 最后到了第四轮 跟我后来导师Clark匹配上的时候 就已经进入到一个新的课题了 是Clark Barrett教授 对吧 他其实是做形式化验证的一个方向 能不能跟我们的观众来解释一下 什么是形式化验证 这个领域也很大 但我可以简单讲我当时做的一部分的课题 我们当时一部分的课题是 我们要把我们人写出来的代码 进行拆解和映射 把它映射到底层的数学逻辑上 你可以把这个代码映射到一阶逻辑 你在这个逻辑出来之后 你就可以从数学角度去证明 你写的这份代码它是不是具备某一个性质 我更具体地来说的话 我一份代码 你隐藏地来说 我们是有一个东西 叫做specification（规范）

Spec其实是说明了这个代码 它应满足什么前驱条件 它会有什么样的invariant（不变量）

你代码执行完之后要满足什么样的条件 你可以有这样一套语言去描述这个程序 你要证明的就是 如果你在有这个spec的情况下 你的代码是不是真的符合了这样一套逻辑 从代码映射到这个逻辑公式之后 公式之间的这个证明和推理 就是我做的那个研究领域 SMT solver（SMT求解器）做的事情 我的研究大部分是在SMT求解器的 那个求解器本身的优化 优化一方面跟效率有关 一方面跟正确性有关 但是它更多的是跟你怎么定义语义有关 就是你定义什么样的语义空间 可以去表达你一份代码所做的事情 在斯坦福其实你开始深入形式化验证之后 我们看到就是开始哐哐出论文 2020年是拿到了 IJCAR（自动推理国际联合会议）的 最佳论文奖 2022年是拿到了 IJCAR（自动推理国际联合会议）的提名 后来又是cvc5的贡献者之一 是拿到TACAS的最佳工具论文奖 太高产了 对 你觉得这段时间 你的一个研究状态是什么样子的 其实这个真实的过程 比外面看到的这个简历上的内容要 要干瘪很多 其实是要无聊很多 我其实在斯坦福前几年的经历并不顺利 一个是我首先刚进来第一年的时候 找导师其实就不是很顺利 被动地进入了形式化方向的领域 因为我要读PhD 所以我才需要把这个地方不停地去做研究 产出论文 我其实是比较被动的状态 当然我在做的过程中 慢慢地也欣赏到了它的美感 后来我慢慢理解这件事情它为什么有意思 以及我后来有些更多的思考 我觉得它其实还有个很有意思的未来 但是最开始做politeness 那篇论文的时候 就是我第一次拿 IJCAR Best Paper（最佳论文）那一篇 非常非常的意外 因为我当时是一个完全小白的状态 我对这个领域不知道 导师给了我一个问题我去解决它而已 我做完它的时候我也没有任何的认知说 什么样是这个领域里最好的论文 因为我看的论文还不够多 所以这个奖出来的时候 我完全没有想到 被别人祝贺的时候得知拿到了这个奖 那个是我进这个领域发的第一篇论文 但是发完这篇论文之后 其实我就又重新进入一个很低落的状态 就是我还是没有找到 我想要做的下一个问题在哪 就是令人兴奋的问题在哪 在那篇文章做完之后 我记得就进入疫情了吧 进入疫情我其实有长达一年的时间 是没有做任何事情的 接近一年的时间 在一个depression（低落的）状态里 但我遇到了非常好的导师 Clark非常地支持 他完全理解说我要调整好这个状态 他只关心我是不是有一个好的精神状态 只关心我是不是 能够走出来 他没有给我施加任何 我需要继续产出论文或者做研究的压力 他说那我可以去上一些课 做一下TA（助教）

做一些这种很轻量级的事情 那段时间还回国待了半年 一个疗愈期 我其实没有产出论文 但是Clark从来没有断过我的经费 确实是非常好的导师 非常好的一个导师 我一年之后才慢慢走出来之后 才又做了Sequence那篇论文 我们前面也有过很多挣扎 证明应该是写了20多页吧 来来回回改了四五次 而且有两次 我几乎是全部推翻重写的那个证明 已经花了一两个星期推出来的证明 十几页的证明 全部推翻 因为你从一开始地方发现有个基点错了 那个错了之后 后面所有的后续推理全部是错的 所以那个证明从前面要一直修正 到全部重新推翻重来 但是这个过程走完之后 很有成就感 最后这个证明完全写完之后 比一开始设想得要复杂得多很多 我们都觉得这段证明写出来 和这段经历非常的 accomplished 很有满足感 我记得那个时候Clark自己也说 那篇论文里的证明是他 过去一年的高光时刻 当时也是最佳论文提名 但是没有被公开 就是大家讨论过 最后没有被选上 但是很接近 如果说我在形式化工作的话 这篇论文可能是我觉得最愉悦的一段时间 从这篇论文开始我看见了形式化理论 这个里面的一些深刻含义和它的优美之处 它的优美之处在哪里呢 它让我理解了程序语言设计的 几个不同角度吧 形式化的这个方法去设计语言 它是从数学的角度去理解程序语言的 程序语言我打了很久的交道 我打了20年的交道了 但是我从来没有以这样的角度去看待过它 它给了我一个全新的视角 但是你会发现程序语言里面 它也有很多的trade-off（权衡）

不同角度上 有一些语言 更接近数学 有一些语言更接近硬件 你其实很难有一个支点让你 一个语言它离数学和硬件都很近 接近数学的语言它会更容易被验证 更容易被形式化 接近硬件的语言会更灵活、更高效 更接近人的思维习惯 当你需要编程硬件里面的具体运算的时候 那样的mapping（映射）又更直接 最后没有再往这个领域继续地走下去 是因为什么呢 我看到了它有意思的地方 但是我也看见了它这个领域的局限性吧 它能够在现实中 实际被应用的场景太少了 你要验证一个程序太贵了 但是它能验证的又很少 不能产生足够大的影响 但是我觉得我想离世界更近一点 我还是想要做 更接近真实生活的东西 当时觉得 所以我那个时候就开始探索AI 我开始寻求双向转化 开始探索AI这个过程其实也不太顺利 可能我又有一年时间的空窗期 就是你看上去我的发表论文没有停 但其实我中间有很多的空窗期 外界的空窗期 跟你自己定义的空窗期是不一样的 对 我自己定义的空窗期就是 那段时间我没有做任何 我其实没有取得进展 在我转AI的时候又有大概一年的时间 我其实没有任何新的想法 我实际上没有做成任何事情 可能长达一年之后 我突然某个时间找到事情可做了之后 我三个月产出了一件事情 但是外人看来 你会觉得那个作品是我过去一年的成果 实际上它是我过去一年里 最后三个月的成果 前面九个月我都在这个零状态 完全不知道自己在干什么的状态里 我非常理解这个过程 就像我们记者写稿子也是一样的 对 你给我一个月的时间 前面29天的时间我都在做调研 或者是放空 或者是采访 我其实这个稿子就是用一天时间写出来的 对 所以你看上去 比如我形式化 我可能发了3篇论文 分布在3年时间里面 但每篇论文真正推动 其实它都只花了什么三个月的时间 我这三年里面 每年都有九个月不知道在做什么 其实也不叫在做什么 你可能是在 在迷茫 想要去找到你想解决的问题 因为我听下来是说 要去找到一个你真正感兴趣的问题 并且解决它 真的是你的一个驱动力 是的 这个是的 我确实有一些特点 就是我没有办法妥协 我后来服从了我的这个特点 就是我原来在不理解我自己的时候 我尝试努力去适应过一些规则 但是我后来发现我自己是不能被勉强的 就是我没有办法做我不感兴趣的事情 没有办法做好 我能做 但其实我没有办法做好 我只有这个事情它让我觉得非常兴奋 我才有可能把那件事情做好 这是一个特别纯粹的性格 你当时什么时候发现说 这个性格就是这样了 我必须要去服从我这个性格呢 这是一个缓慢发展的过程 倒也没有某一个时间点突然顿悟了 它是一个我慢慢意识到 以及终于有一天我完全接受它的一个状态 我完全接受它可能是在 博士的最后一两年吧 你本身是一个喜欢intense（高强度）的人吗 我是个必须高强度的人 从小就是这样的 对 我觉得从你发论文的那个数量跟节奏 就能看出来 对 我没有办法 就是我哪怕睡觉的时候也会一直做梦 就是我没有办法停下来 你做梦也会梦到跟你研究 或者工作相关的事 那肯定会 肯定会 会 大家都会吧 有时候的梦是完全无关的 我都还是挺有关的 就说明你在睡觉的时候 你的潜思维其实 还是在工作 也可能是生活 就工作生活 但它一般来说都不是 不是没有任何关系的东西 但肯定会有虚假的成分 会有想象的空间 但是它不会是毫无关联的 我觉得我PhD经历的那段 低落的时期 就是因为那段时间太无聊了 因为疫情的时候大家都放慢了 我根本没有办法在一个慢速的环境里面 保持我精神的健康 所以就是一定要忙起来 才能让你健康地运作 我不一定要忙起来 我硕士做那个理论研究 做数学研究的时候是不忙的 那个时候你是很沉浸的 因为那个问题它就是 你除了看着一张纸在那想 其实没什么能做的 就我看上去很闲 我每天可能也就想4个小时 工作4个小时我就去打游戏了 其实我硕士期间打了好多游戏 因为那个问题都太难了 你没什么事可做 你只能空想 打游戏的时候也很高强度 对吧 其实也没有 我觉得做理论非常不一样 做理论就是有很多灵感 你只能等它来 其实你没什么事情可做 你只能在那等 你等着那一刻来临 所以我有大量的时间去打游戏 在游戏中 灵感来了 然后去写一写 是吗 其实我当时那个题目解出来 就是在我看电视的时候想到的主意 对 我也不知道为什么 但确实那个情境是 我看电视之前看了一篇论文 然后我就开始看电视去了 看到中段的时候 不知道为什么那个论文里的东西突然回响 回声出来 然后突然又想到了论文的那个点 突然意识到这个地方 可能是一个解法突破点 那个就是关键点 就是你那个问题被解决了 就发生的那个瞬间 那个真的是有一个phase transition（状态转变）

那个是一瞬间的事情 就是那个时刻 好神奇 那个问题被解掉了 你那个电视剧看到那一半 你突然 我怎么突然开始知道怎么解决这个问题了 暂停 去写证明 你还记得是什么电视剧吗 《甄嬛传》

我是真的记得 太神了 我一般是在洗澡的时候会有灵感突然击中 这种也会有 对 但是电视剧我觉得我很少 因为看电视剧你还是要很沉浸的 看起来你看电视剧的时候 你的潜思维感觉还是在 一直在思考一些 我会 就前面说到我跟我自己和解 我是怎么和解的 就是我以前不知道 ADHD（注意力缺陷多动障碍）

这个东西 有一天我就慢慢地了解到 有个东西叫做ADHD 然后我看完各种症状 深入理解之后我发现 好多东西都可以被解释 就你觉得你是ADHD吗 我确实是 我定期要看心理医生 但它不是一个疾病 它是一个特点 学习之后我发现 好多事情被解释了 它给我带来最大的帮助是 我通过理解它而理解了我自己 像是我找到了怎么使用我自

原文超出正文长度上限，此处截断——上游还有内容，完整版见上方「原文 ↗」。