AI 基础设施
Google 开源 TorchTPU：PyTorch 原生跑上 TPU，vLLM/SGLang/llm-d 一并接入
Google Cloud 10 月 21 日博文宣布，面向 TPU 的 PyTorch 原生栈 TorchTPU 已在 GitHub 开源，与 Meta 的 PyTorch 团队联合开发。文中列出的接入方包括 vLLM、SGLang、llm-d 1.0、TorchTitan、Ray、TorchRec、Hugging Face、LiteRT；在 Transformers v5 中改用 device_map="tpu" 即可把模型部署到 TPU。官方称 TorchTitan 训练路径在 Qwen 3 8B 上达到最高 52% MFU，已跑到 8,192 块 Ironwood TPU（TPU v7x）。
对 AI 使用者意味着什么
训练与推理代码的硬件迁移成本从工程项目降为配置项，PyTorch 从“默认 NVIDIA”转向多硬件后端的信号明确。52% MFU 与 8,192 卡规模均为 Google 自测，尚无第三方复现；文中另有一处“up to 8000 Ironwood TPUs”的旧口径，两处数字并存。
有具体工作流问题？联系咨询。新闻本身免费阅读。