[메모리 테크 데이 2023] AI 시대를 위한 근접 메모리 솔루션

“메모리 장벽” 관점에서 볼때, 메모리 용량이 충분하지 않으면 대역폭이 제한되어 데이터 전송 지연 시간이 증가하게 된다. 이에 따라 시스템 작업량이 늘어나게 되고 전력 소비가 더욱 많아지게 된다. 결국 총소유비용, 즉 TCO 증가를 초래한다. 삼성은 이 문제를 해결하기 위해 "근접 메모리 솔루션" 을 고안했고, 이는 메모리 용량 혁명의 발판이 될 것이다. AI 애플리케이션은 GPT(Generative Pre-Trained Transformer)의 대규모 언어 모델 처리로 구동되는 딥러닝 알고리즘을 점점 더 많이 사용하고 있다. 데이터가 기하급수적으로 증가함에 따라 메모리의 전통적인 역할은 데이터 저장에서 메모리 내 데이터 처리로 확장되고 있으며, 이제 메모리는 CPU와 GPU의 작업 일부를 덜어주는 역할을 담당할 것이다. 간단히 말해, 이제는 메모리 솔루션이 CPU 및 GPU의 데이터 처리를 분담해야 할 때 인 것이다. 2023년 10월 20일 캘리포니아 산타클라라에서 열린 삼성 메모리 테크놀로지 데이(MTD)에서는 온-디바이스 메모리 스토리지와 메모리 자체에 내장된 가속기 분야에서 여러 가지 기술 성과를 선보였다. 소개된 제품들은 끊임없이 발전하는 AI와 대형 언어 모델(LLM)을 학습하는 데 사용되는 수십억 개, 곧 수조 개에 달하는 GPT 파라미터를 따라잡는 것에 초첨을 두었다. 삼성전자 신사업기획팀 최장석 상무는 메모리 포트폴리오를 소개하고 새로운 메모리 계층구조에 대한 비전을 설명하는 것으로 발표를 시작했다. 최 상무는 LLM 시스템 처리 속도를 맞추기 위해선 메모리 처리 속도를 가속화 해야한다는 견해를 밝혔다. 이어서 업계가 머신 러닝을 따라잡기 위해 노력하고 있을 뿐만 아니라 이제는 AI 모델 추론도 해결해야 한다고 덧붙였다. 쉽게 설명하자면, 머신러닝 모델이 학습되면 추론 모델은 학습된 지식을 새로운 데이터 포인트에 자동으로 적용하여 새로운 데이터에 대한 예측을 수행한다. 이 역시 추가적인 메모리 용량은 물론 실행력과 정밀도를 필요로 한다. 여러 포트폴리오 중 첫 번째는 LHM (Low-Power, High-bandwidth, extended granularity Memory) 솔루션이다. LHM은 칩 로직 다이 위에 3D 적층이 가능한 고대역폭의 저전력에 초점을 맞춘 DRAM이다. 두 번째 포트폴리오에는 현재 'Icebolt'(HBM3)라는 이름으로 고객에게 제공되는 고대역폭 메모리다. 이 메모리 장치는 적층이 가능하며 매우 낮은 전력을 사용하면서 가장 높은 대역폭의 메모리를 제공한다. 10나노급 16Gb DRAM 다이를 12단 적층해 24GB의 메모리를 만들 수 있는 AI 가속기이다. 최 상무는 이것이 바로 차별화 요소가 될 AI 추론 솔루션이라고 설명한다. PIM(Process-In-Memory) 및 PNM(Process-Near-Memory) 기술에 대해서도 소개했다. 개념 증명(POC)된 HBM-PIM 및 CXL-PNM과 같은 솔루션은 데이터 전송 및 처리를 메모리에 더 가깝게 배치하여 대규모의 AI 모델을 처리하는 동안 DRAM이 병목현상을 일으키지 않도록 한다. 또한, 이 포트폴리오에는 CPU 성능 가속화를 목표로 하는 CXL(Compute Express Link) 프로토콜의 개발도 포함되어 있다. CXL DRAM(CMM-D), CXL-PNM(CMM-DC), Memory Semantic SSD(CMM-H), Smart SSD + CXL I/F, Compute(CMM-HC)는 모두 메모리 연구소에서 예측하는 CXL 메모리 확장 및 컴퓨팅 솔루션이다. 최 상무는 2026년까지 CXL의 Value Segment 수요가 급증할 것으로 예상하고 있다. 최 상무는 발표를 통해 AI 시대의 메모리 문제를 극복하기 위해서는 기술 분야의 다른 기업들과 협력해야 한다는 점을 여러 차례 강조했다. Meta, Memverge, SAP HANA와의 파트너십 및 협업 사례를 각 회사 대표들이 메모리 테크 데이 행사중 발표했다. 전진완 상무는 CMM 제품군을 위해 개발 중인 기술에 대해 자세히 소개하고 CMM이 삼성에 중요한 기회인 이유에 대해 설명했다. 개방형 표준 인터페이스, PCIe 5.0 인프라를 사용한 손쉬운 도입, 대용량 데이터 모델을 처리하기 위해 독립적으로 적용할 수 있는 메모리 용량 확장 및 대역폭 증가 등이 CXL의 핵심 기능으로 꼽혔다. 메모리 솔루션 랩의 류성욱 상무는 무대에 올라 연구소에서 추진하고 있는 메모리 및 SSD 개발 현황을 발표했다. 현재 개발 중인 두 가지 주목할 만한 솔루션은 1) 전체 시스템 성능 향상을 위한 수동형 메모리 장치와, 2) 수동형 메모리 장치를 보다 능동적인 장치로 전환하는 것이다. 이러한 솔루션에는 DDR, CXL, NVMe를 비롯한 다양한 프로토콜과 인터페이스가 활용되고 있다. 이번 발표에 메모리 솔루션 랩의 기양석 상무가 함께했다. 기양석 상무는 CXL Memory Module – Hybrid (CMM-H) 아키텍처, 장점 및 성능에 대해 발표했다. 더불어 CMM-H 모듈에 대한 개요를 설명하고 이 기술 개발의 중요성을 강조했다. 이 장치와 아키텍처에 대한 자세한 설명은 레카 피추마니(Rekha Pitchumani) 박사의 웨비나 프레젠테이션, “CMM-H (CXL Memory Module – Hybrid): 메모리 중심 컴퓨팅 시대를 위한 삼성의 CXL 기반 SSD"에서 확인할 수 있다. 근접 메모리 솔루션은 대규모 언어 모델 처리를 위한 GPT의 새로운 지평을 열고 있다. 더 많은 데이터를 처리하고 메모리 모듈 안팎에 배치함으로써 새로운 AI 시대의 컴퓨팅 방식을 재편하고 있다.