
【DiaryPoint 記者嚴珠勇】Google 於 11 月 9 日發表第八代張量處理器(TPU)系統 8tx 與 8i Max。8tx 用於機密推論,可在處理敏感資料時加以保護;8i Max 則鎖定需要一次處理長上下文的 AI 工作。
這兩款產品並非全新晶片設計,而是以既有的 8t、8i 晶片為基礎,調整記憶體、網路與安全配置。Google 今年 4 月將 8t 定位為大型 AI 模型訓練晶片,8i 則用於即時推論。此次發表後,第八代產品線擴充為四套系統。
8tx 以硬體隔離保護處理中的資料
8tx 採用與 8t 相同的矽晶片,並搭配第五代 AMD EPYC 中央處理器(CPU)作為主機。資料在儲存或傳輸時雖可加密,運算時仍須在記憶體中解密。8tx 採用機密運算,在硬體層級保護這些使用中的資料及模型權重。
AMD 表示,這項設計將 CPU 的安全功能 SEV 延伸至 TPU 加速器,擴大保護範圍。系統會在存取受保護記憶體前確認加速器的身分與安全設定;資料存放於 CPU 記憶體或在 CPU 與加速器之間傳輸時會加密,並在加速器運算期間提供硬體隔離。Google 表示,8tx 的 Boardfly 網路可將延遲較 8t 降低最多一半,同時幾乎不影響效能。
8i Max 結合兩顆晶片,處理更長上下文
8i Max 將兩顆低延遲 TPU 8i 整合在同一封裝中。Google 表示,相較於 8i,其運算量、SRAM 容量與 HBM 頻寬都提升至兩倍;在既有機架空間內配置雙倍矽晶片,也提高了單位空間與功耗的運算密度。
多個 AI 代理人共同分析整套軟體程式碼或長時間影片等大量資訊時,快速供應所需資料的記憶體頻寬可能成為瓶頸。8i Max 著重降低大型上下文工作中的這項限制,例如程式碼輔助與複雜推理。
TPU 除用於 Google 搜尋、YouTube、Gemini 等自有服務外,也提供給 Google Cloud 客戶。路透社報導,Google Cloud 9 月季度營收達 307.1 億美元,增幅超過一倍,TPU 銷售也對業績有顯著貢獻。Google 鎖定受監管產業與政府的敏感 AI 工作,以及企業處理大型上下文的需求,並在 NVIDIA 主導的 AI 晶片市場提供更多選擇。
