谷歌发布TPU 8tx和8i Max,与AMD合作保护处理中的数据
图片:AMD官方

【DiaryPoint记者严珠勇】谷歌11月9日发布第八代张量处理单元(TPU)系统8tx和8i Max。8tx面向机密推理,可在处理敏感数据时提供保护;8i Max则针对需要一次处理长上下文的AI任务。

这两款产品并非全新芯片设计,而是在现有8t和8i芯片基础上调整内存、网络和安全配置。谷歌今年4月将8t定位为大型AI模型训练芯片,将8i定位为实时推理芯片。此次发布后,第八代产品线扩展至四套系统。

8tx通过硬件隔离保护处理中的数据

8tx采用与8t相同的硅芯片,并搭配第五代AMD EPYC中央处理器(CPU)作为主机。数据在存储或传输时可以加密,但运算时仍需在内存中解密。8tx采用机密计算,在硬件层面保护这些使用中的数据以及模型权重。

AMD表示,它将CPU的安全功能SEV扩展至TPU加速器,以扩大保护范围。系统会在访问受保护内存前验证加速器的身份和安全配置;数据存放在CPU内存中或在CPU与加速器之间传输时会进行加密,加速器运算期间则通过硬件隔离提供保护。谷歌称,8tx的Boardfly网络可将延迟较8t降低至最多一半,同时几乎不损失性能。

8i Max组合两颗芯片,处理更长上下文

8i Max将两颗低延迟TPU 8i集成在一个封装内。谷歌称,与8i相比,它的算力、SRAM容量和HBM带宽均提升至两倍;在现有机架空间中部署双倍硅芯片,也提高了单位空间和功耗下的算力密度。

多个AI智能体共同分析整套软件代码或长时间视频等海量信息时,快速提供所需数据的内存带宽可能成为瓶颈。8i Max旨在缓解大型上下文任务中的这一限制,例如编程辅助和复杂推理。

TPU既用于谷歌搜索、YouTube和Gemini等自有服务,也提供给谷歌云客户。路透社报道称,谷歌云9月季度营收超过翻倍,达到307.1亿美元,TPU销售也对业绩作出了显著贡献。谷歌希望借此满足受监管行业和政府的敏感AI任务需求,以及企业处理大型上下文的需求,并在英伟达主导的AI芯片市场增加可选方案。