슈퍼컴퓨팅 2026 SK하이닉스 전시 현장
사진=SK하이닉스

[다이어리포인트=엄주용 기자] SK하이닉스가 11월 20일 미국 시카고에서 열린 슈퍼컴퓨팅 2026의 전시 기술을 공개했다. HBM4·HBM4E와 CXL 메모리 풀, 메모리 중심 AI 랙 시스템 ‘MARS’를 선보이며 대화형 AI의 데이터 저장과 재사용 효율을 높이는 방안을 소개했다.

AI가 긴 대화를 이어가면 앞선 계산 결과를 담아 두는 ‘KV 캐시’가 쌓인다. SK하이닉스는 곧 다시 쓸 정보는 HBM과 D램에 두고, 나중에 불러올 정보는 CXL 메모리 풀에 저장하는 기술을 전시했다. 필요한 데이터를 저장 위치에 따라 나누면 고속 메모리 공간을 아끼면서 여러 서버가 용량을 나눠 쓸 수 있다는 설명이다.

MARS는 메모리를 중심에 두고 협력사 장비를 한 서버 랙에 통합하는 시스템 구조다. 전시 시연에서는 CXL 메모리 풀로 서버·GPU 간 KV 캐시와 CPU 서버가 만든 토큰을 공유했다. 중복 계산을 줄이고 CPU의 전처리 지연으로 GPU가 기다리는 시간을 단축하는 방식이다.

회사는 SK텔레콤과 실제 대규모언어모델 추론 환경에서 CXL 기반 KV 캐시 오프로딩을 검증했다고 밝혔다. MARS 관련 발표를 맡은 민영훈 AI 시스템 인프라 기술 리더는 CXL 메모리 풀을 이용한 캐시 재사용과 CPU 랙의 토큰 공유가 다중 대화형 AI 서비스에서 CPU·GPU 활용도를 높인다고 설명했다.

전시 제품에는 HBM3E와 나란히 놓인 HBM4·HBM4E 외에도 256GB 3DS DDR5 RDIMM, 128GB DDR5 MRDIMM, 96GB DDR5 RDIMM, 192GB SOCAMM2가 포함됐다. AI 연산용 고대역폭 메모리뿐 아니라 서버의 주메모리와 저장장치까지 수요가 넓어지는 흐름을 보여주는 구성이다.

이번 기술의 직접적인 적용처는 AI 데이터센터와 서버다. 메모리 공유와 재사용이 실제 서비스에 적용되면 GPU 대기와 데이터 이동 부담을 줄이는 데 도움이 될 수 있으며, 메모리 용량·속도·전력 효율을 둘러싼 반도체 업체 간 경쟁도 이어질 전망이다. 슈퍼컴퓨팅 2026 전시 일정은 11월 17일부터 19일까지였으며, 전체 행사는 20일 마무리됐다.