谷歌发布第八代TPU 两款专用芯片分攻AI训练与推理

前沿科技
分享至
评论

拉斯维加斯消息——Google在今日的Cloud Next大会上正式推出新一代自研AI芯片TPU,首次同时发布两款产品:TPU 8t专攻模型训练TPU 8i专攻推理计算

谷歌发布第八代TPU 两款专用芯片分攻AI训练与推理

随着AI从对话式交互迈入“代理时代”,推理需求急剧膨胀。Google选择打破以往一年一款的节奏,同时推出两款定制化芯片。公司AI与基础设施首席技术官Amin Vahdat表示:“团队两年前就意识到,一年一颗芯片已经不够。”

相较前代Ironwood TPU,两款新芯片的每瓦性能最高提升2倍

面向训练场景的TPU 8t,在大规模训练中性价比提升2.8倍。其配备216GB高带宽内存(HBM) 和128MB静态随机存取内存(SRAM),单个超级计算集群最高可扩展至9600颗芯片。Google同步发布名为Virgo的网络架构,专门支撑超大型模型训练。

面向推理场景的TPU 8i则侧重降低延迟,配备288GB HBM384MB SRAM,突破数据频繁搬移导致的“内存墙”瓶颈。该芯片采用名为Boardfly的全新网络拓扑设计,提升芯片间通信效率。

Google在现场展示了从2015年第一代到最新两款芯片的完整产品线。Vahdat透露,两款新芯片将于今年晚些时候向云客户开放

过去Google TPU多与博通合作开发,市场传闻联发科已拿下新一代推理芯片的大额订单。Google回应称,不便公开讨论供应链合作伙伴的具体细节。

THE END

数码评测