Meta 工程师确认已在生产环境使用 Google TPU
Meta 工程师确认:Meta 已在正式业务里用 Google TPU 跑 AI 推理
Meta 工程师确认:Meta 已在正式业务里用 Google TPU 跑 AI 推理
10 月 20 日,Google 在开发者博客发布 TPU 版 SGLang 推理引擎,文中引用了 Meta 的 PyTorch-TPU 负责人 Zongwei Zhou 的原话:"SGLang-TorchTPU 今天已经在 Meta 的生产环境中运行。"这是目前唯一的一手确认。
TPU 是 Google 自研的 AI 芯片,对手是英伟达 GPU。推理就是 AI "上岗干活",你每问一个问题,它算出答案就是一次推理。
Zongwei Zhou 没说规模多大、用在哪些产品、TPU 是租的还是买的。The Information 今年 2 月报道过,Meta 和 Google 签了多年、数十亿美元的 TPU 租用合同,两家没有公开细节。
Google 开发者博客:https://developers.googleblog.com/announcing-new-vllm-and-sglang-inference-engines-on-tpu/ PyTorch 博客:https://pytorch.org/blog/introducing-torchtpu/
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力