SemiAnalysis创始人：内存短缺持续，CPO推迟至2028-2029

整理 & 编译：深潮 TechFlow节目： The Next Big Thing（WisdomTree 出品）嘉宾： Dylan Patel，SemiAnalysis 创始人主持人： WisdomTree 主持人 + Klay Hyman发布日期： 2026 年 7 月 9 日摘要SemiAnalysis 创始人 Dylan Patel 做客 WisdomTree 旗下 The Next Big Thing 播客，与主持人及 Klay Hyman 一起梳理 AI 基础设施供应链的最新状况。话题覆盖 SemiAnalysis 从汽车旅馆起步到 90 人团队的创业历程，GTC 上黄仁勋点名"沙袋"事件的台前幕后，AI 投资回报率，AI 成本优化策略（换最新模型反而更便宜），内存超级周期（KV cache 爆炸、产能瓶颈、智能手机会被挤出），CPU 需求拐点，网络与 CPO 时间线（推迟到 2028-2029、铜仍主导），电力与能源基础设施，以及转换供应链。金句"Jensen，我错了，你在藏拙，实际是 30 倍。"（Dylan 给黄仁勋发邮件承认 Blackwell 性能超出预期）"我们在 AI 上的支出超过员工薪酬的三分之一，到年底可能会到一半。"（Dylan 谈 SemiAnalysis 的 AI ROI）"内存产能未来三年每年只增长 20-30%，但需求在翻倍，翻倍。"（Dylan 谈内存超级周期）"拿柴油卡车发动机改成天然气，反接电动机，放在数据中心后面，然后你从汽车修理店雇一批人来维护。"（Dylan 谈表后发电创新）"你可以拿卡车发动机改造，雇一批机修工，这样运营一个场地。一直到'我要把它发射到太空'。数据中心问题有解决方案，不管你是走全脏路线还是走太空路线。"（Dylan 谈电力解决方案的疯狂光谱）"成本优化实际上是换最新的模型。因为最新模型可能只需要四分之一的 token 就能完成同样的任务。"（Dylan 谈 AI 成本悖论）第一章：开场介绍主持人： 好的，大家好，欢迎回来收听 The Next Big Thing 播客的下一期。今天和我同事 Klay Hyman 一起，还有 Dylan Patel，他是我们的新合作伙伴，SemiAnalysis 研究集团的创始人。今天很兴奋能跟 Dylan 一起梳理 AI 基础设施领域的最新状况。你们可能在很多不同的播客上听过 Dylan 的分享，我一直关注他的内容，还有 SemiAnalysis 网站上的 newsletter。最近我看到的一篇是关于太空数据中心的，如果有人对这个话题感兴趣，他们有一篇非常详细的长文。不过 Dylan，我很想听听 SemiAnalysis 这个想法最初是怎么来的。我知道在 Substack 社区里，大家最近都在讨论你们公司的营收和取得的成功，但很多时候人们只看到当前的成功，忘了这段旅程和起点，忘了其中投入了多少心血。第二章：SemiAnalysis 创业故事Dylan： 好的。我觉得 SemiAnalysis 的起源其实来自"在网上发帖"。以一种不太严肃的方式在网上发帖。我回想我最早关于半导体的帖子，是在我十岁出头的时候发的。当时我就在网上发帖聊芯片、聊智能手机、聊手机屏幕、手机 SoC，还有这些东西。在我自己拥有智能手机之前，我就对它们着迷了。游戏硬件也一样，PC 硬件、主机硬件，我一直在各种论坛上发帖讨论这些东西。到我 12 岁的时候，我已经在管理和创建很多论坛了，涉及的领域包括 Android、Apple、Google、Intel、Nvidia、AMD 这些硬件话题，还有 Reddit 上各种相关论坛。Dylan： 这就是一切的起源。我一直是个发帖的人，一直发我的观点，一直回复，一直思考，一直接受评论。现在我们是一个 90 人的组织，我团队里做市场的人会跟我说："Dylan，别再回复网上那些无聊的人了，你这样让我们很难看。"但我就是有这种冲动，谁在网上批评我，我就想回应。也许这是坏事，但基本上在我整个青少年时期，我都在管理这些论坛。Dylan： 我在十几岁后期开始赚钱后就开始投资了。我做了两年量化交易，然后创办了自己的公司。但整个过程我一直在发帖发帖发帖发帖。我有匿名博客，有匿名帖子。到 2020 年，我对工作有点厌倦了。做量化的幻灭感嘛，你知道，没有看起来那么光鲜。是的，你能赚钱，但没有那么了不起。我差不多辞职了，开始创业。当时不太确定会怎样，但我在一个 WordPress 网站上用真名发帖，发的内容是技术、商业、金融、供应链的混合，这些都是我最感兴趣的领域。Dylan： 我在一个小生意环境中长大。我在一个汽车旅馆里长大，我父母在乔治亚州农村有一个汽车旅馆，我们就住在里面。我从小就懂生意。后来我们还开了加油站，所以一直在生意里泡着长大。我一直喜欢商业。供应链从投资角度和从产品制造角度来说都一直很有意思。我一直有一种直觉，就是东西是怎么做出来的。技术方面当然超级令人兴奋，金融方面也超级令人兴奋。Dylan： 把这些结合起来，我最早的帖子，当时美国正在禁止华为获取 TSMC 的代工服务。我的第一篇帖子其实是关于联发科怎样成为最大赢家的。华为当时是中国智能手机芯片和智能手机市场份额第一。显然这会大幅下滑，因为他们不再能使用 TSMC。美国市场觉得高通会赢。但联发科这家台湾公司，我认为他们会赢得更多份额，因为从地缘政治角度看，中国宁愿从台湾公司买也不愿从美国公司买，毕竟我们刚禁了华为。两家公司都受益了，但联发科受益更多。这就是技术、供应链、金融、地缘政治这些元素混合在一起的一个例子。Dylan： 接下来几年，我把 WordPress 转成了 Substack，某一刻开始收费，写的话题覆盖整个半导体和 AI 供应链。我做了四年量化期间也跟进了 AI，出于热情跟进半导体。然后就不断增长、增长、增长。Dylan： 四年里我满世界跑，参加了世界上每一个会议。一年去 40 场会议。我没有固定住所，就是去每一个能去的会议，不管是 AI 会议比如 NeurIPS、ICML、ICLR 这些主要是研究者的会议，还是下游一些很细分领域的会议，比如半导体供应链化学原料的会议。我从上到下整个技术栈都跑，服务器、网络、晶圆制造、AI，什么都看。一年 40 场会议。有些会议非常细分，只有 300 人参加，除了大概 5 个人之外全说日语，我就想"好吧，就这样吧"。还有一些会议有 1 万到 2 万人参加，规模巨大。整个光谱和连续体都有。Dylan： 这样我就能覆盖整个生态系统。你去一个会议三次，你就真正懂这个领域的语言了。你认识那里的人，可以问他们问题，建立起这些人脉网络。我发展出了整个生态系统和认知体系，覆盖每个环节的拐点。我在技术上非常好奇，但一旦某个技术或供应链方面的东西从会议中脱颖而出，我知道它会在供应链或金融层面导致什么后果。有时候报告以技术为中心，金融圈没人关心。但有时候大家突然意识到这是瓶颈，或者这是拐点，或者这家公司会因为下一代技术获得大量市场份额。我会在华尔街任何人之前、在任何对冲基金之前、在任何人之前就指出来。Dylan： 这就是起点。然后随着 Substack 越来越大，2022 年我开始招人。最早两个员工是我在 Discord 上认识了好几年的人。第三个员工是 Myin，他之前在对冲基金工作，准备搬去日本跟妻子住，所以算是自由身。我当时发了一篇帖子，很有意思的一篇帖子，2023 年初的时候，说内存是 AI 的最大输家。原因是 AI 芯片和 AI 服务器使用的内存比例比普通服务器少很多。普通服务器大约一半的 BOM 是内存，但 AI 服务器里内存占比少得多。部分原因是 Nvidia 的利润率高得多，还有其他几个因素。当然 Nvidia 下一代芯片大幅增加了内存容量，现在多很多了。但在当时我说内存是最大输家。Dylan： 在付费部分我说"我在招人"。Myin 联系了我，他是第一个来自对冲基金背景的人，另外两个是技术背景。他一加入公司，我们就开始建各种模型，真正把业务从 newsletter 模式转型为出售信息服务、出售报告和数据集的模式。随着这些开始发生，雪球就开始滚下山了。2023 到 2024 年，从 2 个人增长到 7 个人。2024 年底到 2025 年初，从 7 个增长到 20 个。2025 到 2026 年，从 20 个增长到 60 个。现在今年我们到了 90 人。今年已经加了 30 个人。就是一个雪球滚下山的节奏。Dylan： 我们只是不断增加新的领域。我一直对什么都感兴趣，但现在我能招到真正的专家。我觉得 SemiAnalysis 最令人兴奋的是，我不知道还有哪家公司有我们这样的专业水平和集中度。我有在 ASML、Applied Materials、Lam Research 工作过的人，这些都是制造晶圆的设备公司。上游有在 Intel、TSMC、Nvidia、Microsoft、Amazon 工作过的人。还有在 OpenAI 做过模型的人，在 Tesla 做过 FSD 的人，在 Coherent 工作过的人。我们有做模型层的人，也有做数据中心的人。我公司里有人真的在哈萨克斯坦建过一座发电厂。我们就是有这种疯狂的人才密度。Dylan： 公司一半是工程背景出身的人，另一半要么是前对冲基金的，要么就是我在 Twitter 或 Discord 上发现的超级有热情的网友。我觉得你很聪明，来给我工作吧。这真的管用。现在 SemiAnalysis 有很多业务线：数据服务、咨询、信息服务、newsletter，我们还在做各种媒体内容，马上要办一场大型会议。各种不同的业务。这段旅程太刺激了。第三章：GTC 沙袋时刻主持人： 说到这段旅程，Dylan，WisdomTree 和 SemiAnalysis 已经合作了好几个月了。Nvidia GTC 在三月举行，每年都办。我当时在北卡罗来纳州夏洛特看直播。大概有 55,000 人同时在看直播。Dylan： 体育场里还有 20,000 人。体育场里有 2 万人，老兄。主持人： 然后他直接提到了你，说你像是"沙袋"了某个数字，说他在藏拙，你的图表就直接出现在舞台大屏幕上。说实话我当时有一个时刻，看着世界上最大公司的 CEO 基本上在引用你的研究，说你批评他的一些数字。我很想听听，听起来你当时就在体育场里。Dylan： 对，那个时刻非常超现实。SemiAnalysis 做的一件事是我们有一批工程师，我们对所有开源 AI 模型和所有硬件做开源基准测试。这是一个很棒的项目。我们这边有一批工程师，也跟业界大量合作。我们获得了价值超过 5000 万美元的硬件捐赠，来自 OpenAI、Microsoft、Amazon、Google、CoreWeave、Nebius、Crusoe、Oracle 等所有你能想到的主要云厂商。我们在这些硬件上跑基准测试。Dylan： 我们有 8 种不同的 GPU，H100、H200、Blackwell，AMD 的各种 GPU。还有 Google 的 TPU 和 Amazon 的 Trainium。我们做的是每天在最新版本的软件上跑基准测试。为什么要每天跑？因为每天晚上可能发布新的 CUDA 版本、PyTorch 版本、驱动更新、推理引擎 vLLM 或 SGLang 版本等等。我们每天晚上在整个曲线上跑这些基准测试，测试你想要多快的 token 生成速度 versus 你想要多高的成本效率，以及最优场景。全部自动化运行。Dylan： Jensen 最初发布 Blackwell 时声称会有 25 倍的提升。当时没人信他，对吧？这是 Jensen 嘛，他在做营销。连我们当时都觉得，好吧。我们比其他人更看好一些，我们觉得根据模拟可能是 15 到 20 倍的提升，因为我们有性能模拟器。但随着我们搭建了这个叫 Inference-X 的推理基准测试平台，我们得到了实际结果：在 DeepSeek V3 上，Blackwell 在某个点上比 Hopper 快 30 倍。Dylan： 然后我有了这个结果就给他发了邮件。这些结果自动发布到开源 GitHub 上，这是一个开源协作项目，Nvidia 的人也参与了，他们知道。但我特别跟 Jensen 说，我给他发邮件说："嘿 Jensen，2024 年你发布 Blackwell 的时候你说 25 倍，所有人都喷你。连我都喷你。我说不可能 25 倍，最多 15 到 20 倍。很多人说不对不对不对，也就 3 倍。我们算是很看好的了。但 Jensen，我错了，你在藏拙，实际是 30 倍。"Dylan： 他拿这个做了文章。我不知道他会拿这个做什么。我听几个客户说了，Meta 有人告诉我他们开了个会，Jensen 用这个作为证据说他不藏拙数字。他在讲下一代芯片的时候用了这个。然后这一切就发生了，我没想到会在台上发生。Dylan： 另外在 Inference-X 项目里，我们做了一条腰带。看起来像 WWE 冠军腰带，上面写着"Inference King"。我们寄给了所有合作方，寄给了 Nvidia、AMD，还有 SG Lang、vLLM 这些帮助我们做基准测试的人，那些捐赠硬件的人。因为这是一个开源项目，我每年花几百万美元在工程师薪水上，其他人花几百万在硬件上捐赠，或者花几百万在工程师薪水上捐赠。Dylan： 我把这条腰带寄给他们，然后这条腰带出现在他的 slide 上。他举起来展示，然后我们的图表也在上面，他在 slide 上花了五分钟讲"Dylan 说我藏拙了，但我没有"，讲我们的性能是最好的。那真是一个超现实的时刻。主持人： 他在整场演讲中谈到我们的时间比其他任何人都长。唯一被谈到差不多时间的是 OpenClaw，那个显然正在席卷整个世界。主持人： 这是一个令人难以置信的时刻。第四章：AI ROI 与企业支出Klay： Dylan，你提到了几件事。你提到开源，现在可能可以转向一些最近的进展和市场话题。一直有关于开源模型与闭源模型实际推理效率的讨论。而且直到今天还有很多投资者在质疑 AI 的投资回报率。就在最近一两周，有 Bloomberg 的经济学家讨论很多 AI 项目在一些公司可能正在失败。我知道你提到过你们公司在大量使用 AI，给员工大量 token 访问权限。你还在招人。所以我很好奇你对终端需求的看法，以及终端需求是否真的在驱动我们看到的大规模建设。这些建设充满了各种约束，至少在过去一个月里，除了最近几天的市场波动之外，一直在推高跟这些主题相关的各种股票。Dylan： 好的，我说几点。当你看这个大的问题，关于 ROI，关于公司是否从 AI 中赚够了钱，这是否会持续，使用 AI 的人是否真的从中获得了价值，这是很多人都在问的一个大问题。Dylan： 我看这个问题的时候，有几种方式来拆解。首先，Anthropic 已经自由现金流为正，而且在 Q2 是盈利的。即使是在 4 月，4 月的账已经结了，他们是盈利的，自由现金流为正。5 月也是自由现金流为正，盈利。6 月看起来也会一样，虽然还没完全结账，但至少三个月中有两个月是自由现金流为正且盈利的。他们的循环收入已经飙升到超过 500 亿美元 ARR。他们做得非常好。Dylan： 这是一面。Anthropic 在印钱。当然有很多公司还没印钱，但在往那个方向走。OpenAI 的收入随着 Codex 的采用增长也开始出现拐点。这些公司都在变得更加盈利。Anthropic 的毛利率非常高，超过 70%。Dylan： 另一面是公司在 AI 上的支出。至少在 SemiAnalysis，我们从年度循环支出来看，我喜欢叫它 ARS，Annual Recurring Spend，不是 ARR。去年 11 月、12 月，在 Claude Code 真正开始起飞之前，我们的年度循环支出不到 10 万美元。我们当时给每个员工都订阅了 ChatGPT 200 美元套餐，如果有人想要 xAI 或 Claude，我们也给。但标准就是给每个人 OpenAI 200 美元订阅。11 月就是这个状态，当时我觉得我们已经在前沿了。Dylan： 但 Claude Code 随着 Claude Opus 4.5 和 4.6 等版本开始到了拐点。到 1 月底，我们的 ARS 达到了 400 万美元。因为大家在用 Claude Code。现在大约是 1100 万美元。最高的时候，如果我们拿一周的支出乘以 52，到了 1100 万，最高曾经到过 1400 万。它会根据大家在做什么工作而大幅波动。但目前的平均水平看起来大约是每年 100 万美元的支出，对于一家 90 人的公司来说。这太疯狂了。Dylan： 我们在 AI 上的支出超过员工薪酬的三分之一，到年底可能会到一半，取决于 Methos 和其他模型变得越来越好。这是一个巨大的支出。问题是 ROI 是多少？我觉得 ROI 非常大，因为我们能开发产品、能卖更多、能提高每个人的效率。我看到了 ROI，但很多公司在质疑：如果我有一个年薪 30 万美元或更多的好开发者，他们在 AI 上的支出开始接近一比一了。对于好开发者来说是这样，对于非开发者来说支出范围会更低，但在 SemiAnalysis 至少，我们最大的 AI 支出者中有很多是不会写代码的人，他们就是告诉模型想要什么，然后反复迭代，直到得到想要的结果。Dylan： 你看到每个员工的 AI 支出在飙升。很多公司现在理所应当在问：我们全年的 AI 预算在 Q1、Q2 就用完了，现在怎么办？是削减支出还是在其他地方削减？很多公司在说也许需要放缓 AI 支出。但我看到很多公司开始在其他地方削减了。他们在砍掉以前用的 SaaS 产品。他们在说"我们可以增长更快，所以就这样吧"。他们在说"在 AI 上花钱没关系，我们暂时承受这个代价。AI 会越来越便宜的"。随着采用率上升，我六个月前用 AI 做的事情，今天 AI 做起来便宜多了。当然，我今天用 AI 做的事情比六个月前广泛得多。Dylan： 有些人甚至在不削减 AI 的情况下削减员工。有些人收紧了 AI 支出，但这些公司会在生产力提升和产品开发能力上被甩在后面。第五章：AI 成本优化策略Klay： 然后降低增量成本的一种方式是选择更便宜的、可能不那么智能的模型，不总是在最前沿。现在我觉得还很早，关于这些议论。但我很好奇，像你们这样的公司是否有一个节点，决定某些用例更适合用 DeepSeek V4 这种模型，而需要更多智能的工作则用更贵的模型。这是计算的一部分吗？Dylan： 我觉得对某些人来说这绝对是计算的一部分。你需要把 AI 工作负载分成两类。第一类是 AI 被集成到一个流程中。比如客户发给我一个文档，我检查 XYZ，把文档放进模型，模型检查，完成。在这种情况下我只需要达到某个质量水平，然后就可以停止提升模型，开始通过等更新的模型、更便宜的模型或更高性价比的方案来降低成本。我们看到 AI 模型在成本上以每年约 60 倍的速度改善。你取一个质量水平，一年后它便宜 60 倍。Dylan： 人们当时对 DeepSeek 大惊小怪，因为它比 GPT-4 便宜 600 倍。实际上那是 GPT-4 发布两年后，所以 60 倍乘以 60 倍是 360 倍，实际结果是 600 倍。所以曲线上的某个点，不管是每年便宜 6