08:16小互
Google 发布第八代 TPU:拆分训练与推理芯片
Google 发布第八代 TPU,核心变化是将芯片拆分为两款:TPU 8t 专用于训练,TPU 8i 专用于推理。训练芯片定位万亿参数级大模型预训练,一组 9600 颗芯片可提供 121 exaflops 算力、2 PB 共享内存,峰值性能为上一代 3 倍;推理芯片面向后训练与实时推理,针对通信密集任务延迟最多降低一半。拆分原因是训练与推理需求分化:训练需海量数据吞吐,推理需低延迟响应,尤其在 Agent 时代,多轮交互对延迟敏感。