[다이어리포인트=엄주용 기자] 구글이 11월 9일 8세대 텐서처리장치(TPU) 시스템 ‘8tx’와 ‘8i Max’를 공개했다. 8tx는 민감한 데이터를 처리하는 동안 보호하는 기밀 추론용이며, 8i Max는 큰 문맥을 한꺼번에 다루는 AI 작업에 맞췄다.
두 제품은 완전히 새 칩 설계라기보다 기존 8t·8i 칩을 바탕으로 메모리·네트워크·보안 구성을 조정한 시스템이다. 구글은 4월 공개한 8t를 대규모 AI 모델 학습용, 8i를 실시간 추론용으로 소개했고, 이번 발표로 8세대 제품군을 네 시스템으로 넓혔다.
8tx는 연산 중인 데이터까지 하드웨어로 격리한다
8tx는 8t와 같은 실리콘을 쓰고 5세대 AMD EPYC 중앙처리장치(CPU)를 호스트로 결합했다. 저장하거나 전송할 때 암호화한 데이터도 연산 중에는 메모리에서 풀어야 하는데, 8tx는 이 사용 중 데이터와 모델 가중치를 하드웨어 수준에서 보호하는 기밀 컴퓨팅을 적용했다.
AMD는 CPU의 보안 기능인 SEV를 TPU 가속기까지 연결해 보호 범위를 넓힌다고 설명했다. 보호 메모리에 접근하기 전 가속기의 신원과 보안 구성을 확인하고, 데이터가 CPU 메모리에 있거나 CPU와 가속기 사이를 이동할 때 암호화하며, 가속기 연산 중에는 하드웨어 격리를 제공하는 방식이다. 구글은 8tx의 Boardfly 네트워크가 8t보다 지연 시간을 최대 2배 낮추면서 성능 손실을 거의 없앤다고 밝혔다.
8i Max는 두 칩을 묶어 긴 문맥을 처리한다
8i Max는 저지연 TPU 8i 두 개를 하나의 패키지에 결합했다. 구글에 따르면 8i보다 연산량과 SRAM 용량, HBM 대역폭이 각각 두 배로 늘었고, 기존 랙 공간에서 실리콘을 두 배로 배치해 면적·전력당 연산 밀도를 높였다.
여러 AI 에이전트가 소프트웨어 코드 전체나 장시간 영상처럼 긴 정보를 함께 분석할 때는 필요한 데이터를 빠르게 공급하는 메모리 대역폭이 병목이 될 수 있다. 8i Max는 코딩 보조, 복잡한 추론처럼 큰 문맥을 다루는 작업에서 이 병목을 줄이는 데 초점을 맞췄다.
TPU는 구글 검색·유튜브·제미나이 내부 서비스뿐 아니라 구글 클라우드 고객에게도 제공되는 AI 가속기다. 로이터는 9월 분기 구글 클라우드 매출이 307억1000만달러로 두 배 이상 늘었고 TPU 매출도 실적에 의미 있게 기여했다고 전했다. 구글은 규제 산업과 정부의 민감한 AI 작업, 대규모 문맥을 쓰는 기업 수요를 겨냥해 엔비디아 중심의 AI 칩 시장에서 선택지를 늘렸다.
0개의 댓글