HBM之父：AI本质是内存，GPU仅10%时间工作

被称为"HBM之父"的韩国科学技术院（KAIST）金正浩教授抛出一个颠覆认知的判断：AI的本质是内存，而不是GPU。

近日，韩国科学技术院（KAIST）电气工程系教授金正浩接受视频专访，围绕HBM技术演进、AI算力格局和未来半导体架构作出系统性阐述。金正浩被业界称为"HBM之父"，早在2010年代初期便与SK海力士合作参与HBM1开发，此后主导了一系列底层架构研究。此次访谈内容在科技与投资圈广泛流传，核心观点直指当前AI算力竞赛的结构性矛盾。

金正浩在访谈中直接给出了一个令人震动的数字：

"GPU装100万台，真正工作的时间只有10%。"

他解释，每当ChatGPT输出一个词，系统就需要从HBM中读取数据、完成计算、再写回内存，"读和写几乎占掉了全部时间，GPU就在旁边干等着。"即便通过算法优化，GPU利用率也很难突破30%。

这正是他多年坚持的核心论断的现实依据："AI等于内存（AI = Memory）。"

一、为什么GPU遇到了"外通死局"

金正浩对英伟达（NVIDIA）现状的判断措辞犀利。他说，黄仁勋近期频繁访问韩国、参加综艺、吃炸鸡喝啤酒、会见各路人士，"这么多会面背后，说明他不安心"。

"GPU的技术性成长已经快停了，这是我的判断。人工智能计算机的进化，掌握在内存手里。"

他的逻辑链条清晰：GPU想提升性能，只能扩大芯片面积、堆更多计算单元；但GPU太热，必须在背面安装散热装置，因此无法像内存一样垂直堆叠。"GPU陷入了外通死局（外通手에 걸린 느낌）。"

相比之下，从训练时代转向推理时代，内存的重要性正在被重新定价。金正浩说："推理时代，更重要的是往AI里塞进多少数据，而决定这一点的半导体是内存。"

他进一步指出，AI能力的竞争最终是内存能力的竞争："谷歌Gemini、OpenAI、Anthropic Claude，谁更强，是由内存决定的——这是我的主张。"

二、HBM的两大核心：容量与带宽

金正浩将HBM的价值归结为两个维度。

第一是容量。随着上下文工程（context engineering）、多模态输入和Agentic AI的到来，内存需求以每年翻倍的速度增长，"10年就是1000倍"。传统方式靠缩小晶体管来增容，但如今已逼近量子力学边界，几乎无法继续缩小，因此必须"向上堆叠"。

第二是带宽。金正浩打了个比方："传统内存如果是8车道高速公路，HBM是1024车道，现在是2048车道，几年后可能达到100万车道。" 靠并行通道同时传输海量数据，才能匹配AI计算的速度需求。

三、HBF：NAND闪存的堆叠时代

HBM解决了速度问题，但容量依然有天花板。金正浩在访谈中详细阐述了他认为的下一条技术路线——HBF（High Bandwidth Flash）。

简单说，HBF就是把NAND闪存像HBM一样垂直堆叠。DRAM速度快但容量有限，NAND闪存容量大、可长期保存数据，速度虽然慢一些，但在推理场景中足够满足"冷数据"的存储需求。

金正浩认为，未来HBM和HBF将形成共存格局，类似于城市规划："就像有百货商场，周围有复式公寓、普通住宅，各种形态的HBM、HBF组合在一起，形成复合体，向GPU供给数据。"

他作出了一个明确的长期预判："现在是HBM的时代，但10年后，NAND闪存和HBF的市场需求将超过HBM。三星和SK海力士必须为HBF时代做好准备。"

他指出，目前正在开发HBF的公司包括SK海力士、闪迪、三星电子，以及日本的铠侠（Kioxia）。铠侠市值最近超过了丰田汽车，成为日本股市第一，闪迪股价持续上涨，而三星和SK海力士则在韩国市场维持市值领先地位。

四、HBS：更超前的第三条路

金正浩还提出了一个目前仍属于前沿概念的设想——HBS（High Bandwidth SRAM）。

SRAM（静态随机存储器）比DRAM快约1000倍，但密度低、成本高，传统上只能作为芯片内的小容量缓存。金正浩的思路是：把整张12英寸晶圆全部做成SRAM，再垂直堆叠12至16层，就能将容量从100GB扩展到1600GB。

"这样速度快1000倍，容量又足够，那就说得通了。"

他描述的终极AI芯片形态是一栋"100层3D大楼"："HBM、HBF、HBS各自构成多层建筑，GPU放在顶层负责散热冷却，这就是未来AI计算机不可避免的3D半导体结构——这是我现在的判断。"

他同时坦言，这条路最大的工程挑战不是计算，而是供电与散热："要给GPU和堆叠内存供几千安培的电，电力供应网络的设计将是最难的技术，这也将成为企业间真正的核心竞争力。"

五、定制HBM：甲乙关系正在逆转

金正浩专门谈到了HBM4带来的供需结构变化。

过去，内存是标准化产品，厂商先生产、客户再选购，买家主导价格，库存风险由内存厂商承担，这就是"内存周期"的本质。

但从HBM4开始，由于需要根据英伟达、谷歌、AMD等客户的加速器架构量身设计（即"定制HBM"），内存厂商必须在研发之初就拿到客户的数量承诺，才会启动开发——也就是所谓的"长期协议（Long-term Agreement）"。

"AI企业太需要高性能HBM了，所以他们排队来。供应方开始决定价格，这是范式的转变。"

他还预期，未来HBM芯片内将集成通信功能，实现"HBM之间相互通话"，形成类似联盟的结构："我们自己沟通，谁对我们更好，就给谁更多内存；不听话的GPU，就不分配。"

这进一步抬升了内存厂商的系统性地位。

六、三星、海力士是唯一能同时做两件事的公司

金正浩在访谈中反复强调，全球范围内能同时量产DRAM（HBM）和NAND闪存（HBF）的公司，目前只有三星电子和SK海力士。

"闪迪和铠侠虽然股价冲天，但只能做HBF，做不了HBM。三星和SK海力士拥有引领未来最强大的工具。"

当被问及三星与SK海力士今年合计营业利润500万亿至600万亿韩元的预测是否现实，金正浩回答："现实的。" 他补充说，他经常与两家公司的高管进行技术交流，"他们的眼神越来越亮了。"

不过他也指出竞争压力真实存在，美光、闪迪获得来自英伟达和谷歌的订单分流。

七、AI PC与AI手机：内存决定设备价格

金正浩还将内存需求的叙事延伸至终端设备。

他预测，未来AI PC要真正实现个人AI计算，所需内存规模将使"一台PC的价格达到1000万韩元，内存价格决定PC价格"。而AI智能手机售价300万至500万韩元中，200万至300万韩元将是内存的价格。

"AI基础设施、AI模型的持续进化，需要越来越多的内存。AI PC和AI手机，是这个趋势的另一条主线。"

八、Agentic AI与物理AI：内存需求还将暴增1000倍

金正浩对AI演进方向的判断同样值得关注。他认为，随着Agentic AI（智能体AI）和Physical AI（具身AI/物理AI）的到来，内存使用量将比现在高出约1000倍。

"AI代理24小时工作，不像人类还要睡觉，工作量暴增，内存需求自然跟着爆炸。那时候不是HBM，而是需要'超级HBM'的时代了。"

九、研究之路：50年积累，"运气"说

金正浩在访谈结尾追溯了自己的学术路径。他1993年获得博士学位，研究方向是飞秒（femtosecond）级超快电信号测量，导师数年前获得诺贝尔物理学奖。1994年他加入三星电子内存事业部，1996年回到KAIST，此后持续深耕内存与HBM基础研究约10年，才形成商业产品。

2015年，他在一次校内会议上第一次听到"深度学习"这个词，随即意识到AI算法与HBM架构背后用的是同一套数学——线性代数和矩阵运算。"我在大学二年级特别喜欢矩阵，两边恰好用的是一样的数学——这就是运气。"

他笑言，当初做HBM时想的是用在电视机上让画面更生动，完全没想到会成为AI时代的基础设施："那时候不知道，这也可以说是运气。"

以下为访谈文字实录有删减（由AI协助翻译）

金正浩： HBM、HBF、HBS将组成一栋百层大楼，GPU则位于最顶层，进行散热等。我认为，这种3D半导体结构是未来AI计算机不可避免的架构。而其中最困难的技术之一，就是供电。需要供应数千安培的电流，因此电力供应网络的设计将是最困难的。这将成为核心技术竞争力。

主持人： 被称为“HBM之父”的KAIST金正浩教授来到了我们的节目。您好！

金正浩： 您好，很高兴见到您。感谢您的邀请。

主持人： 谢谢您抽出时间。

金正浩： 不客气。（笑声）

主持人： 我们得先从HBM聊起。实际上，HBM真正开始量产和应用，也不过大概两年的时间，对吧？HBM3是这样。HBM1的话，从2010年代开始，我就和SK海力士一起参与了，当时GPU方面有NVIDIA和AMD。所以HBM1是在2010年代初期开始的，但那时它是用于显卡的。

主持人： 教授您获得博士学位是在1990年代，对吧？

金正浩： 是的。

主持人： 但您在2010年HBM最初被开发出来时，就早早地开始了相关研究。

金正浩： 是的。我在1993年获得博士学位，当时的研究更偏向物理学。我制造了当时世界上最快的、用激光来测量电信号的示波器。我的导师几年前获得了诺贝尔物理学奖。当时我制造的设备可以观测到飞秒（几乎静止的光）级别的极端时间现象。如今随着AI的发展，需要处理海量数据，数字电路的运行速度已经达到了皮秒甚至飞秒级别。所以30年前博士期间的研究现在都派上了用场。

不过，当时研究的领域非常狭窄和深入，而我的性格更倾向于与社会交流和沟通。所以当时我就想，未来内存会变得很重要。抱着这个想法，我在1994年加入了三星电子的内存事业部。从那时起，我就一直在学习和研究内存。1996年我来到KAIST，大约到2010年，HBM前期的基础研究持续进行了大约10年，然后才作为产品应用到了HBM上。

HBM所需的各种技术，如量子力学、半导体物理、数学等，其实都是大学二、三年级时学过的科目。特别是需要大量的线性代数知识，那是我在1981年学习的，能一直应用到现在。HBM不断推陈出新，我们实验室甚至提出了到HBM8为止、为期30年的路线图。这么算下来，从最初研究到现在，差不多有50年了。

主持人： 您在最初研究和思考HBM概念时，就预料到人工智能时代会到来，并且HBM会成为其核心吗？

金正浩： 没有，当时AMD和NVIDIA是打算把它用在显卡上。显卡所需的数学和人工智能所需的数学是一样的。所以HBM后来成了AI的核心部件，但最初NVIDIA方面认为它只是用在显卡上。而我当时想，韩国电视产业很发达，所以想把这种芯片放进电视里，让电视画面更华丽、更生动、更逼真，因此我最初是考虑用在电视上的。

大约2015年，在大学里和一些年轻教授开会时，他们用到了“深度学习”这个词，那是AI的早期阶段。当时我只是觉得“哦，还有这种技术啊”，半开玩笑地聊着，只有我没听懂。所以从那时起，大概2015年，我实际上就把专业方向转向了AI。虽然表面上是研究HBM的实验室，但我个人从2015年开始完全转向了AI研究。研究几年后发现，AI算法和HBM简直是天作之合。我当时就觉得，这会在AI领域得到爆发式应用。

那时候主要用在CNN（摄像头物体识别）上，稍后是强化学习（比如下围棋），这些应用都需要大量矩阵运算，所以需要HBM。但像现在这样彻底爆发，大概是在2020年代初ChatGPT出现的时候。未来AI将向Agentic AI发展，一部分也会走向Physical AI。从算法上看，Agentic AI或Physical AI的内存使用量可能会比现在增加1000倍。那样的话，就需要HBM的升级版“Ultra HBM”的时代了。所以我们也有一些其他的想法。总之，一开始我并不知道会这样，可以说是一种运气。因为我大学二年级时就非常喜欢线性代数，而两者用的数学是相同的。

主持人： 我理解HBM就是将多个DRAM堆叠起来，我的理解正确吗？

金正浩： 是的，正确。无论是显卡还是AI，在进行计算时，都需要快速从内存中读取数据。HBM之所以必要，有两个原因。第一是容量要大。特别是AI正在向上下文工程、多模态、Physical AI发展，需要在内存中累积的数据量越来越大。可能每年翻一番，十年就是1000倍。要增加内存容量，就需要不断缩小晶体管或存储单元，但由于单元间的干扰和漏电现象，我们已经接近了量子力学的极限，难以再缩小。所以容量很难增加。

因此我在2000年代初就认为，未来的内存必须堆叠起来。从那时起，我们就主张“堆叠”而非“平面”。当时大多数人都设计单层半导体，而我们的设计方向是堆叠。当然我们侧重设计，三星和SK海力士负责具体实现，但最终产品化的结果就是HBM。第二个原因是，即使容量大，也必须能快速将数据传输给GPU。这样才能快速响应我们，处理文档、文字，甚至最近需要制作电影。要提高速度，需要并行传输数据的技术。就像高速公路从8车道变成了1024车道，最近是2048车道，几年后可能变成百万车道。

所以HBM的核心是：通过堆叠增加容量，同时通过安装“电梯”和“高速公路”结构，以光速（比传统内存快千倍、百万倍）传输数据，这就是所谓的并行结构。

主持人： 提到HBM，也常听到HBF。HBF是什么，和HBM有何不同？

金正浩： 通用内存主要有两种：DRAM和NAND Flash。DRAM速度快但无法长期存储；而NAND Flash容量大（大约是DRAM的10倍），速度慢一些，但能长期保存，主要用于相机等设备。但刚才提到的HBM虽然堆叠了，容量仍然不足。最近因为上下文工程，向AI输入时不仅用文本，还附带参考文件、YouTube视频等，视频图像文件暴增，内存容量需求比现在更大。计算过程中的中间结果（KV Cache）也需要全部存储。

进入Agentic AI时代，我可能会雇佣10个或100个AI替我工作，AI的工作量是我的100倍，而且它们24小时工作，不像我们会睡觉休息，所以工作量剧增，内存需求也随之增加。即便堆叠了DRAM，容量还是不够，所以想到了堆叠NAND Flash，这就是HBF。目前开发HBF的公司有SK海力士、Sandisk、三星电子，日本的Kioxia可能也在开发。最近Kioxia的市值甚至超过了丰田，成为日本股市第一。美国制造NAND Flash或HBF的Micron和Sandisk股价也持续上涨，韩国制造这些的三星和SK海力士市值排名前列。

紧挨着GPU的内存有两种：HBM和HBF，也叫“热内存”；而用于长期记录AI关于用户信息的设备叫“冷内存”，两者需求都在增长。长远来看，大约10年后，NAND Flash和HBF的市场需求增长可能会超过HBM。所以现在虽然是HBM时代，但三星、SK海力士也要为HBF时代做好准备，这是我的主张。

主持人： 您曾提到2038年左右HBM可能会发展到第八代。

金正浩： 是的。

主持人： 那时HBM和HBF都将进入商业化阶段，两者是互补关系，还是竞争关系？

金正浩： 两者是互补的。HBM4今年推出，几年后HBM5会出来，大约每三年换一代，10年后会到HBM8。那时HBM和HBF将一起使用。HBM容量虽小但速度快，HBF速度稍慢，也有一些物理局限性，但容量巨大。如果HBM容量不够，旁边会配上HBF，两者并非单一存在，而是类似公寓楼群：中心有百货商店（HBM），周围有公寓楼群（HBF）。各种形态的HBM和HBF会组成一个综合体，相互连接，为用户提供数据。总容量方面，HBF可能比HBM更大。

主持人： 归根结底，就是堆叠DRAM还是NAND Flash的区别，两者缺一不可。

金正浩： 是的，全球能同时做这两种的公司只有三星电子和SK海力士。Sandisk和Kioxia虽然股价飙升，但它们只能做HBF（或堆叠NAND的ESSD技术），无法做HBM。所以我认为三星电子和SK海力士拥有引领未来的最强大工具。

主持人： 那么可以说三星电子和SK海力士拥有绝对的领先优势吗？

金正浩： 可以这么说。今天早上的股价不就突破9000了吗？虽然预测股价不是我的领域，但从根本趋势看，世界正走向AI霸权时代，而AI的能力，我认为是由内存能力决定的。直到去年，我还以为AI能力源自数学（比如注意力机制），但要实现它离不开内存。最终，内存的性能就是AI的性能。所以我定义“AI = 内存”。AI企业、AI国家，或者用半导体建设数据中心，都必须依靠内存公司。这是格局转变的时代。

更惊人的是，HBM和HBF用于建设AI数据中心，现在也叫“AI工厂”——制造AI的工厂。我称之为“内存工厂”，AI工厂的核心是内存，拥有多少内存决定了AI国家霸权和AI企业的竞争力。谷歌、Gemini、OpenAI、Anthropic Claude谁更好？我的主张是，这由内存决定。

最近为了保护个人信息，出现了在自己的电脑上直接计算AI的动向，这叫AIPC。NVIDIA也想做这个，和台积电合作制造PC，里面装有128GB的LPDDR之类，内存非常大。要真正做好可能需要TB级内存，那PC价格就得1000万韩元，内存价格决定了PC价格。未来智能手机也会变成AI智能手机，屏幕上可能只留一个窗口，其他都由AI代劳，甚至会出现AI眼镜。我主张一台AI手机价格的一半以上会是内存价格，比如300万、500万韩元的手机，其中200万、300万是内存成本。AI基础设施和AI模型越发展，内存需求越大，而AI PC和AI手机是另一大增长轴。

主持人： 当前全球科技巨头中，NVIDIA展现压倒性性能，它保持最强地位的最大秘诀是什么？

金正浩： 直到去年，AI的“学习”（训练）更为重要，学习能力就是AI能力。在学习中，Transformer模型的编码器部分主要进行反向传播计算，涉及微分，能做好这个的是GPU。所以训练时代是GPU的时代，因为做AI必须有GPU，所以大家抢着高价购买。但从去年夏天开始，“推理”变得更重要。仅靠训练无法克服“幻觉”问题，给出荒谬错误答案就无法使用。要实现个人化AI，推理变得重要，而对推理更重要的半导体是内存。所以进入推理时代，内存会比GPU更贵、需求量更大。

另一个原因是，要提高GPU性能，必须增大GPU面积（放入更多计算器）。一种方法是像Cerebras公司那样，让整个12英寸晶圆成为一个GPU。但这样制造难度大，一个缺陷就要扔掉整个晶圆，不经济，用途受限。但即便如此，Cerebras也离不开HBM和HBF，没有内存，在推理时代就会很弱。那么NVIDIA能否堆叠GPU呢？不能，因为太热了，后面得装冷却器，无法堆叠。所以GPU有些被困住了的感觉。最近黄仁勋坐立不安，来韩国上电视、扔棒球、吃炸鸡喝啤酒、见很多人，说明他并不安逸。其中一个原因就是，我认为GPU的技术成长几乎停滞了。相反，AI计算机的成长和进化取决于内存。

主持人： 有说法是，实际运行的GPU只有10%？

金正浩： 是的。即使安装了100万个GPU，实际工作时间可能只有20%，甚至10%。为什么？因为GPU需要从内存获取数据才能计算并返回结果，但数据从内存（HBM/HBF）传输不过来。当ChatGPT快速吐出单词时，每个瞬间都需要从HBM/HBF读取数据、计算、再写入，几乎全部时间都花在读写上，GPU在等待。所以关键在于能否快速读取、读取多少，这就是需要HBM和HBF的原因。无论如何改进算法，GPU实际工作可能最多只有30%，其余时间在空转。