SemiAnalysis：存储仍有翻倍空间，CPO落地推迟至2029年

AI基础设施的每一层正在同步承压，而机会与误判并存。SemiAnalysis创始人Dylan Patel近日接受播客专访，系统梳理了当前AI基础设施栈的核心动态与投资逻辑。他的判断涵盖模型经济学、内存超级周期、CPU的重新定价、CPO的时间线风险，以及数据中心能源供给的结构性机遇。 针对市场对AI投资回报率（ROI）的普遍质疑，Dylan透露，Anthropic已于今年第二季度实现自由现金流转正，年化经常性收入突破500亿美元，毛利率超过70%。在企业端，最新AI模型带来的生产力跃升远超算力成本的增加，促使企业削减其他软件开支以维持爆炸性增长的AI预算。 在硬件演进层面，向推理模型的范式转换正在重构市场需求。Dylan强调，存储面临长达数年的结构性短缺，仍有2至3倍上行空间；与此同时，尽管智能体和强化学习推高了CPU需求，但卖方市场对此定价过高，CPU的增长主要来自历史“补账”，其在AI服务器中的绝对价值仍远不及GPU。 Dylan认为，备受市场期待的共封装光学（CPO）大规模落地时间，则被明确推迟至2028年底至2029年，意外延长了铜缆连接器的红利期。而电网输配电的受限，正迫使数据中心转向“表后电源”（自建电源），在传统的芯片投资之外，催生出庞大的工业能源和电力转换供应链投资机会。 Anthropic率先造血，AI需求叙事开始落地 对于市场上关于AI企业ROI的质疑，Dylan Patel给出了具体数据予以回应。 "Anthropic在第二季度已经实现了自由现金流为正，4月盈利，5月盈利，6月看起来也会是一样。"他表示，Anthropic年化经常性营收已超过500亿美元，毛利率超过70%。OpenAI的营收也随着Codex采用率的提升快速增长。 SemiAnalysis自身的支出轨迹也印证了这一趋势。去年11月，该公司90人团队年化AI支出不足10万美元；到今年1月底，因Claude Code大规模铺开，这一数字飙升至400万美元年化；目前已达1100万美元，峰值周折算年化一度触及1400万美元。"员工人力成本加上AI成本，AI这部分已经超过了三分之一，年底前很可能达到一半。" 他同时指出，更新、更强的模型在实际使用中并不必然更贵。旧模型可能需要10万个token、10次交互才能完成一个任务，新模型可能只需2.5万个token、1次交互。"每次模型从4.6 Opus升级到4.7 Opus，我们的支出会先下降一周，然后又飙上去——因为大家一看，以前做不了的事现在能做了。"他认为，这也是Anthropic在与OpenAI的竞争中占据优势的核心原因之一：token效率更高，用户综合成本更低。 内存：结构性短缺，而非普通周期 在所有硬件品类中，Dylan Patel对内存的判断最为坚定。 "这不是短期短缺，是会持续多年的结构性短缺。"他指出，内存产能每年仅增长20%至30%，而AI侧需求正在翻倍又翻倍，两者之间的缺口将持续扩大。 驱动这一判断的核心逻辑来自推理模型对KV缓存的冲击。传统对话式推理的上下文长度以数千token计，KV缓存消耗有限；但以o1为代表的推理模型出现后，上下文长度爆炸性增长，KV缓存随之急剧膨胀，内存成为最直接的受益品类。SemiAnalysis在2024年12月即发布报告，专门指出这一趋势。 供给侧的刚性约束将迫使下游市场重新分配有限内存资源。他预测，价格弹性低的消费电子将率先承压——中低端手机厂商出货量已下降40%，iPhone和MacBook明年价格将上涨。"内存会持续涨价，消费电子被压缩到一个新的水位，直到AI拿到它需要的内存，才算真正够用。"他补充称，即便周期下行届时也会到来，"从波谷到波谷，长期增长是毋庸置疑的。" CPU：补缺行情有限，别过度外推 CPU是今年AI基础设施叙事中涌现的新主角，但Dylan Patel对此持有明确的警示立场。 CPU需求的复苏逻辑清晰：强化学习需要大量CPU来运行环境验证（代码单元测试、模拟操作等）；智能体推理要求模型频繁调用工具、与现实世界交互，这些操作高度依赖CPU算力。与此同时，过去几年大规模出货AI芯片，配套CPU严重不足，目前正处于集中补缺阶段，ARM、英特尔、AMD均已受益，英伟达Vera CPU也给出了200亿美元营收指引。 "但我要给一个重要警示：这里面有大量补缺效应。"他表示，一旦历史欠账补完，后续只剩增量需求，需求将回归正常。从绝对金额看，Blackwell单块约5万美元，CPU约5000美元，即便比例上CPU增配更多，美元量也远低于AI加速芯片。"内存和AI加速芯片才是大头，CPU是被低估后的重估，现在已经更合理定价了，但不会无限期地以超过AI芯片的速度增长。" 光互连：长期看好，短中期慎对CPO 网络与光学互连是另一个市场情绪高涨的领域，但Dylan Patel对CPO（共封装光学）的落地节奏持审慎态度。 "CPO真正大规模量产，我的判断是2028年底到2029年。"他指出，目前制造良率、芯片设计和供应链成熟度均未达到大规模部署标准，而英伟达Rubin及其后续架构Feynman仍将使用全铜方案，CPO在GPU侧还需等待数代芯片迭代。 他透露，SemiAnalysis上周刚向机构订阅客户发布报告，中期内反而更看好铜缆和非CPO光学方案，对CPO持谨慎态度。部分下游芯片的设计变更（如Rubin Ultra的Kyber已去掉800V设计）进一步推迟了CPO落地时间。安费诺等铜缆连接器公司将因此比预期获益更多。 "CPO长期会发生，铜缆长期会被取代，但时间线被推迟了，短中期铜缆仍有很大机会。" 电力：自建电源将成主流，创新路径多元 数据中心的电力供给正在成为AI增长最硬的物理约束。按Dylan Patel的预测，新增数据中心用电量今年20吉瓦，明年30吉瓦，后年50吉瓦，增长近乎爆炸性。 他将能源问题拆解为三个维度：输电、发电与转换。输电是最难突破的环节，涉及监管政策、地方电力公司垄断结构以及成本分摊机制，短期内难以改变。发电与转换则机会广泛。 他预测，未来几年内，新增数据中心用电的一半将来自"表后电源"（behind the meter），即企业自建电源，而非依赖公共电网。目前主流方案是联合循环燃气机组（CCGT），来自GE Vernova、三菱、西门子等厂商；同时也出现了往复式发动机、工业燃气轮机乃至改装自船用、火车、卡车发动机的非传统方案。"听起来粗粝，但它能跑，而且已经在被人用了。" 更长期来看，他判断大约两年内太阳能加储能的综合成本将低于燃气发电；更远期则是太空数据中心——将计算芯片部署至轨道，太阳能电池板无需穿透大气层，能量密度远高于地面，且无需储能。 转换侧同样充满投资机会，从IGBT、碳化硅到氮化镓MOSFET，以及固态变压器、UPS和超级电容，整条电压转换链路正在快速演进。SemiAnalysis目前规模最大的研究部门，已不是半导体，而是其内部称为"DEI"（数据中心、能源与工业）的团队，追踪全球每一座数据中心与发电厂的部署动态。 以下为访谈全文： 主持人：欢迎回到下一件大事播客。我是主持人，今天与我同行的有同事Klay Hyman，以及我们的新合伙人、SemiAnalysis研究机构的创始人Dylan Patel。今天是一个特别的日子，我们将与Dylan一起深入探讨当前AI基础设施领域的全貌。Dylan的内容我一直在关注，他的播客出镜率很高，SemiAnalysis的新闻通讯也一直是我的必读清单。最近他们有一篇关于太空数据中心的深度报告，感兴趣的朋友可以去看看，非常详尽。 Dylan，我很想听你聊聊SemiAnalysis最初是怎么来的。我知道在Substack社区里，大家最近都在谈论这家公司的营收和成功，但我觉得很多时候，人们只看到了成功的当下，却忘了背后的旅程和付出了多少心血。 SemiAnalysis的起源 Dylan Patel： SemiAnalysis的起源其实来自网上发帖——用不太镇定的说法就是“灌水”。回想我首先关于半导体的帖子，那是在我十几岁的时候，我就开始在网上发芯片、智能手机、关于智能手机显示屏和智能手机SoC的帖子，虽然那会儿我自己都还没有智能手机，但我就是痴迷于这些东西。游戏硬件、PC硬件、主机硬件也一样，我一直在网上到处发帖子。 到了12岁，我已经在管理和创作很多与Android、苹果、谷歌、英特尔、英伟达、AMD相关的论坛，以及Reddit上跟这些硬件话题相关的各种版本的块。这就是一切的起源——我一直是个“发狂人”，一直在帖子表达自己的观点，一直在回复、思考、接受评论。 我们团队里的人——现在公司已经有90人了，我们甚至有专门的市场部门——他们常哭说：“迪伦，别再回复网上那些乱喷的人了，你这样让公司视野很不专业。”心里我还是有一个强烈的警报，只要在网上批评我，我就想到了。这也许不是一件好事，但确实如此。 整个青少年时期我都在管理这些论坛。等到开始赚钱后，我就开始做投资。后来我做了两个量化交易员，然后创立了自己的公司，但这一路上我一直在不停地发帖。我曾去过匿名博客，匿名发帖，但到了2020年，我对自己的工作感觉厌倦了——做量化交易员的幻灭感，就是说，你确实能赚钱，但并没有想象中那么光鲜。于是我基本上辞掉了工作，开始创业。 我当时并不确定这条路能走多远，但我在自己搭建的WordPress网站上，用真实姓名发帖，内容主题科技、商业、金融、供应链等我最感兴趣的领域——因为我是在一个小生意家庭里长大的。我在佐治亚州一个乡下的旅馆里，我父母经营着这家旅馆，就住在里面。后来我们开了加油站，所以我内部就做生意，一直很喜欢商业。 后来，WordPress网站转成了Substack，开始收费，写遍了整个半导体和AI供应链。四年间我跑遍了世界各地，一年参加四十场会议——从AI研究者的顶级学术会议，到芯片供应链里某种化学原料的行业小会，从服务器到网络再到晶圆制造，上上下下整条栈我都去。有些会议只有三百人，全程日语只有五个人能用英语交流，我也去。有些是一两万人的大会，也去。参加了三届之后，你就真正掌握了这个领域的语言，认识了里面的人，能提出真正有深度的问题，整个生态系统就这样在你脑海里建立起来了。 SemiAnalysis的成长与团队建设 Dylan Patel：我一直关注技术上的"拐点"——每当在会议上发现某个技术或供应链的变化，我就能判断它会在供应链或财务层面带来什么影响。有些报告纯粹是技术向的，金融界根本不关心；但有些报告就能说清楚这是个瓶颈、这是个拐点、这家公司凭借下一代技术将拿下大量市场份额——而且我能比市场上任何人、任何对冲基金都更早说出来。 2022年Substack越来越大，我开始招人。头两个人是我在Discord上认识了多年的网友。第三个人是Myin，他以前在对冲基金工作，当时要搬到日本陪太太生活，是个"自由身"。我发过一篇文章，说内存是AI最大的输家——因为AI服务器用的内存量比普通服务器少得多。在付费区末尾，我顺带说了一句"我在招人"，Myin就来了。他是第一个有对冲基金背景的人，另外两个是技术背景。他一加入，我们就开始建各种财务模型，业务也从纯新闻通讯，逐步转向信息服务、研究报告销售、数据集销售。 从那以后，雪球就开始往下滚了。从2023到2024年，人数从2人增到7人；2024年底到2025年初，从7人到20人；2025到2026年，从20人到60人；今年又增加了30人，现在是90人。 SemiAnalysis最令人兴奋的地方，在于人才密度——我不知道还有哪家公司能在这种聚焦程度上有我们这样的专业积累。我们有来自ASML、应用材料、泛林半导体这些设备公司的人，有来自英特尔、台积电、英伟达、微软、亚马逊的人，有曾在OpenAI做模型的人，有在特斯拉做FSD的人，有在Cohere工作过的人，有专注数据中心的人，还有一个人在哈萨克斯坦建过发电厂——这种人才密度真的很疯狂。大概一半的人是行业各层级的工程师，另一半是前对冲基金人士，或者从网上找到的、充满热情的聪明人，我在Twitter或Discord上发现了他们，说"你很聪明，来跟我工作吧"，这套方法行得通。 现在SemiAnalysis有很多业务线：数据服务、咨询、信息服务、新闻通讯、媒体，还有即将举办的一场大型会议，是一场相当精彩的旅程。 英伟达GTC现场与"算力之王"腰带 主持人：说到勇敢的旅程，我想起一个印象特别深的时刻。WisdomTree 和 SemiAnalysis 已经合作了好几个月了。今年三月的英伟达 GTC 大会上，我当时在北卡罗来纳州夏洛特市看直播，据说当时有 5.5 万人在线观看直播，现场体育馆里还有 2 万人。 Dylan Patel：是的，成年人里确实有 2 万人。 主持人：黄仁勋在台上直接点名提到了你，说你说他“藏着掖着”某个数字，你做的图表当时就直接投影在了台上。我当时——我猜是替你——都有点激动，看着全球市值最大公司的CEO在台上直接回应你的研究，回应你对他某些数据表述的质疑。能聊当时的场面吗？听起来你当时就在热闹的现场。 Dylan Patel：那一刻确实非常超现实。SemiAnalysis 做的其中一件事，是我们有一批工程师专门针对所有开源 AI 模型以及硬件做开源基准测试，这是一项相当不起眼的工作。我们和整个行业保持着紧密的合作关系，比如硬件方面，我们从 OpenAI、微软、亚马逊、谷歌、Coreweave、Nebius、Crusoe 等公司获得了超过 5000一美元的硬件捐赠，甲骨文也捐赠了硬件给我们用于运行这些测试。 我们手上有八种不同型号的GPU：H100、H200、Blackwell，还有AMD的各流GPU；另外还有谷歌的TPU和亚马逊的Trainium。我们每天都会用最新版本的软件跑基准测试——因为每天晚上都可能有新的CUDA版本发布、新的PyTorch版本发布、新的驱动更新，或者推理引擎（比如vLLM、SGLang）出新版本。我们每天都会跑一条整条性能曲线，最快的“每秒生成代币速度”与“成本实现”之间在各种最优化场景下的关系，这是一套的基准测试系统。 黄仁勋最初发布 Blackwell 时，曾获得一些性能会提升 25 倍。当时没人相信他——毕竟觉得这是黄仁勋，大家都觉得这是黄仁勋营销话术。就连我们当时这么想的，我们比较看好，觉得可能有 15 到 20 倍的提升，这是基于我们自己做的仿真模拟。我们有一套性能仿真器。但等我们真正做出 InferenceX 推理基准是测试系统之后，我们发现，在 DeepSeek V3上，布莱克威尔在某些指标上的性能其实比霍珀快了30倍。 结果一我就给他发了邮件——因为测试结果会自动发布到开源的GitHub上，这是一个开源合作项目，英伟达那边的人也参与并共耗情况，但我特意告诉他：“嘿Jensen，2024年你发布Blackwell的时候说是25倍，当时所有权都在喷你，我也喷了你，说不可能有25倍，最多15到20倍。”很多人当时说的是“顶多” 3倍”。所以我们的判断其实相对乐观，但结果证明我错了——Jensen，你确实是“藏着掖着”了，实际上是30倍。 他后来把这个用起来了，我一开始不知道他会拿做什么。后来听几位客户提起，说Meta内部有个会议去，Jensen用这个数据来证明自己没有“注水”，因为当时他正在介绍下一代芯片。显然后来就发生了这一切，我完全不敢在台上被提起。 另外，我们在 InferenceX 里做了一条领导，看起来像 WWE 摔角领导项目那样，上面写着“Inference King”（推理之王），我们把它传达给了所有的合作伙伴——传达了英伟达、AMD，还传达了 SGLang、vLLM团队等所有帮助我们做基准测试、捐赠硬件的人，因为这是一个开源项目，我每年在工程师工资上投入了几百万美元，其他合作方也在硬件或工程师工资上投入了几百万美元并无偿捐赠支持这个开源项目。 我把这条指示传达了他，结果他在幻灯片上举着这条指示，配上我们的图表，整整讲了五分钟，说“迪伦说我藏着掖着，但其实没有，我们的成绩是最好的”。这真是个非常超现实的瞬间。他提到了我们的文章宽度比整场演讲中提到的其他人或公司都要长，最后提到文章宽度能相提并论OpenClaw，这个产品今年确实火遍全球。所以那真是一个令人难忘的时刻。 AI需求侧：ROI问题与Anthropic盈利 主持人： Dylan，你提到了相关开源的话题，我想引导转向最近的一些行业动态，以及市场层面的一些讨论。目前初步有明显关于开源模型和闭源模型推理效率的讨论，同时也引起了很多投资者质疑整个行业的投资回报率（ROI）。就在最近一段时间，我记得彭博社的一位经济学家谈话，很多公司的人工智能项目可能正在“失败”。而你之前提到你们公司在广泛使用人工智能，给员工提供大量的代币使用增量，持续持续招人。我很好奇，你怎么看待需求这个问题——这种需求推动了当前这一轮大规模基建投入，尽管过去一个月（最近这几天）市场对相关个股的追捧其实填充了各种补充端的否定因素。 Dylan Patel：关于这个“投资回报率”的核心问题——公司到底能不能从AI上赚到足够的钱？这种现状能否持续？利用AI的公司是否真的获得了价值？——我觉得可以从几个角度来拆解。 首先，Anthropic目前是自由现金流为正、且已经实现盈利的，就是这样的表现。4月份账本结算结算后，公司实现了盈利，自由现金流为正；5月同样如此；6月看起来很明显这个趋势，虽然月度账目尚未完全清零，但三个月里结有两周确认盈利并同时为正。他们经常性的盈利性收入已经突破500亿美元ARR，表现相当出色。这是一个可爱的一面——Anthropic正在“印钞”。当然也有很多公司还没有到这个阶段，但正在朝这个方向发展，比如OpenAI的随着Codex采用率的提升以及其他产品的增长，也开始出现拐点。Anthropic的盈利能力都在不断提升，毛利率非常高，超过70%。 但这只是硬币的一方面。另一方面，你提到的，是公司在AI上的支出问题。就拿我们自己举例，我们把这个叫做“年化经常性支出”（ARS，年度重复支出，区别于ARR）。去年11月、如果克劳德代码真正移植，我们的年化经常性支出还不到10万美元——当时我们之前给每个员工都订阅了各家模型的高级套餐，比如ChatGPT的200美元档，如果有人想用 XAI 或 Claude，我们也提供，但主流做法就是给所有者开通 OpenAI 的 200 美元套餐。这是去年 11 月的情况，我觉得当时我们已经走在前面了。 但随着 Claude Opus 4.5、4.6 等版本的推出，Claude Code 真正迎来了拐点。到今年 1 月底，我们的年化经常性支出已经达到 400 万美元，因为这完全是开始大量使用 Claude Code。而现在，这个数字大约是 1100 万美元。如果按周支出乘到 52 周来算，目前平均水平大概在 1100 万美元左右，最高的时候达到过1400万美元。这个数字会因为大家当前在做工作而大幅增长，但目前大概是一家 90 人公司每年 100 万美元左右的 AI 支出。这个数字确实相当惊人——我们在 AI 上的支出已经相当于员工招聘支出的三分之一左右，而且随着 Methos 等新模型陆续推出、性能不断提升，到年底可能会达到二分之一。 这是一笔巨大的支出。问题是，投