
【DiaryPoint記者嚴珠勇】SK海力士於11月20日公布在美國芝加哥舉行的Supercomputing 2026中展出的技術。公司展示HBM4、HBM4E、CXL記憶體池,以及以記憶體為核心的AI機櫃系統「MARS」,介紹提升對話式AI資料儲存與重複利用效率的做法。
AI進行長時間對話時,用來保存先前計算結果的「KV快取」會逐漸累積。SK海力士展示的技術會將短期內可能再次使用的資訊放在HBM和DRAM中,較晚才會取用的資訊則存入CXL記憶體池。公司表示,依照儲存位置分配資料,可以節省高速記憶體空間,也讓多台伺服器共用容量。
MARS是一種以記憶體為核心的系統架構,可將合作夥伴的設備整合到同一個伺服器機櫃。現場示範透過CXL記憶體池,在伺服器與GPU之間共享KV快取,也共享由CPU伺服器產生的token。這種做法旨在減少重複運算,縮短GPU因等待CPU前處理而閒置的時間。
公司表示,已與SK電信在實際的大型語言模型推論環境中驗證以CXL為基礎的KV快取卸載。負責介紹MARS的AI系統基礎設施技術主管閔英勳表示,透過CXL記憶體池重複利用快取,以及在CPU機櫃之間共享token,有助於提升多輪對話式AI服務中的CPU與GPU使用率。
展出產品包括與HBM3E並列的HBM4、HBM4E,以及256GB 3DS DDR5 RDIMM、128GB DDR5 MRDIMM、96GB DDR5 RDIMM和192GB SOCAMM2。這些產品呈現出需求不只涵蓋AI運算所需的高頻寬記憶體,也延伸至伺服器主記憶體與儲存設備。
這些技術主要應用於AI資料中心和伺服器。若記憶體共享與重複利用導入實際服務,有望減少GPU等待時間和資料搬移負擔;半導體業者也將持續競逐記憶體容量、速度與電力效率。Supercomputing 2026展覽於11月17日至19日舉行,整體活動則於20日落幕。
