Supercomputing 2026上的SK海力士展台
图片:SK海力士

【DiaryPoint记者严珠勇】SK海力士于11月20日公布了在美国芝加哥举行的Supercomputing 2026上展示的技术。公司展出了HBM4、HBM4E、CXL内存池,以及以内存为中心的AI机柜系统“MARS”,介绍了提升对话式AI数据存储和复用效率的方案。

AI进行长对话时,用于保存此前计算结果的“KV缓存”会不断累积。SK海力士展示的技术会将短期内可能再次使用的信息放在HBM和DRAM中,将之后可能调用的信息存入CXL内存池。公司表示,按存储位置对数据进行分配,既能节省高速内存空间,也能让多台服务器共享容量。

MARS是一种以内存为中心的系统架构,可将合作伙伴的设备整合到同一服务器机柜中。现场演示通过CXL内存池在服务器和GPU之间共享KV缓存,也共享由CPU服务器生成的令牌(token)。这种方式旨在减少重复计算,并缩短GPU因等待CPU预处理而闲置的时间。

公司表示,已与SK电信在实际的大语言模型推理环境中验证了基于CXL的KV缓存卸载。负责介绍MARS的AI系统基础设施技术负责人闵英勋表示,通过CXL内存池复用缓存、在CPU机柜间共享令牌,有助于提高多轮对话式AI服务中的CPU和GPU利用率。

展品包括与HBM3E一同展出的HBM4和HBM4E,以及256GB 3DS DDR5 RDIMM、128GB DDR5 MRDIMM、96GB DDR5 RDIMM和192GB SOCAMM2。这一产品组合显示,需求正从AI计算所需的高带宽内存,扩展到服务器主内存和存储设备。

这些技术主要面向AI数据中心和服务器。如果内存共享与复用应用于实际服务,有望减少GPU等待时间和数据传输负担;围绕内存容量、速度和能效的半导体厂商竞争也预计将持续。Supercomputing 2026的展览于11月17日至19日举行,整个活动于20日结束。