Google 发布第八代 TPU：拆分训练与推理芯片

Google 发布了第八代 TPU

最核心的变化：以前一颗芯片什么活都干，这次拆成了两颗，各管一头。

• TPU 8t — 专门用来训练模型 - TPU 8i — 专门用来推理，跑模型

为什么要拆？ 因为这两件事要的东西已经彻底不一样了：

训练要的是"能一次吞下海量数据"，慢一点无所谓；

而跑模型要的是"反应快"——你问一句它得立刻答上来。

现在 AI 进入了Agent时代（AI 自己一步步干活、反复思考），一个任务要来回想很多轮，每轮慢一点点，加起来用户就等不了了。

TPU 8t（训练）：定位为：万亿参数级大模型预训练， 一组 9600 颗芯片，121 exaflops 算力、2 PB 共享内存， 峰值性能是上一代的 3 倍

TPU 8i（推理）： 后训练 + 实时推理，通信密集任务延迟最多少一半