[메모리 테크 데이 2023] AI 데이터 시대의 메모리

생성형 AI 사용자 수가 엄청난 속도로 증가하고 있다. 이에 따라 증가하는 생성형 AI 작업 처리량을 맞추기 위해 더 많은 CPU 처리 능력과 뛰어난 메모리 솔루션이 필요하게 되었다. 클라우드 서비스 제공업체가 늘어나는 작업 처리량을 충족하기 위해 최신 CPU, DPU, xPU, 스마트 NIC, FPGA 및 기타 프로세서 솔루션을 채택하고 있으나, CPU 처리 능력 효율성을 극대화하기 위해 메모리 확장성은 앞으로도 계속 개발해 나가야 하는 차세대 영역이다. 2023년 10월 20일 캘리포니아 산타클라라에서 열린 삼성 주관 Memory Tech Day에서 새로운 AI 컴퓨팅 시대를 여는 메모리 프로세서 분야의 다양한 기술 발전 성과가 소개 되었다. 여러 발전 사례 중 하나로 삼성의 CXL 메모리가 확장 및 상용화 되는 것에 대해 논의 되었다. 미주법인 메모리 제품 마케팅 크리스티나 데이는 '생성형 AI' 분야의 트렌드와 오늘날의 시장과 컴퓨팅 시스템에 미치는 영향에 대해 설명하며 컴퓨팅 분야의 메모리 수요에 대응하기 위해 개발된 삼성의 최신 기술을 소개했다. 특히 최신 고대역폭 메모리 HBM3E Shinebolt의 발전 성과와 함께 HBM3E 8H가 현재 개발 완료되어 고객에게 제공되고 있다고 발표했다. 뿐만 아니라 HBM4, LLW (Low-Latency Wide-IO), PIM (Processing-In-Memory), 최대 9.6Gbps 속도의 LPDDR5X 및 기타 근접 메모리 솔루션 (Near Memory Solution)과 같은 혁신적인 미래 제품에 대한 개발 현황도 함께 언급 되었다. 이어서 DRAM 설계 팀장 오태영 부사장은 2030년까지의 최신 DDR 제품군 로드맵에 대해 설명했다. 가장 주목할 만한 것은 DDR5, LPDDR5X/6, LPDDR5X CAMM2 및 GDDR7이었다. 오 팀장은 현재 개발 중인 최신 기술과 새롭고 혁신적인 설계 방식을 통해 직면한 몇 가지 과제를 집중적으로 설명했다. 이 발표에서 언급된 로드맵의 주요 내용으로는 1b 노드 양산과 업계 최초의 32Gb DDR5를 동일한 1b 노드에서 완성한 것이 있다. 로드맵에 따르면 2027년까지 매년 DDR5 속도가 최대 8800Mbps까지 올라가고, 2028년에는 9600Mbps 이상의 DDR6가 출시될 전망이다. 또한 미래 DRAM 개발에 필요한 섬세한 패터닝을 지원하기 위해 High NA EUV 장비가 사용된다는 점도 알 수 있었다. 이 발표를 통해 LPDDR5X의 발전상도 확인할 수 있었다. 전압 스케일링, ABB(Adaptive Body Biasing), 향상된 전력 게이팅, High-K Metal Gate(HKMG) 트랜지스터, 내부 전압 제어 등 전력 효율을 개선하는 기술이 지속적으로 발전하고 있는 가운데 삼성은 LPDDR5X CAMM2(Compression Attached Memory Module 2)에 대한 리더십을 보여 주였다. 이 모듈은 클라이언트 및 서버 환경에서 LPDDR5의 전력 효율성과 속도를 내며 용량 확장도 가능하다. 차세대 JEDEC 표준 저전력 DRAM인 LPDDR6도 소개 되었는데, 삼성이 사양을 정의하는 데 있어 업계를 선도하고 있음을 알 수 있다. 또한 오 팀장은 삼성이 그래픽 DRAM 기술을 선도해 왔으며, 세계 최초의 GDDR7 제품을 통해 그 명성을 이어가고 있다고 강조했다. 이 제품은 DRAM 최초의 3레벨 펄스 진폭 변조 IO 기술로 핀당 32Gbps의 속도를 지원한다. DRAM 설계팀 담당임원 손교민 박사는 근접 메모리 기술의 최신 동향에 대해 집중 조명했다. 1.5년에서 2년마다 CPU 속도가 2배씩 빨라지던 시대는 CPU Scaling의 어려움으로 인해 성장이 더디어 졌고, 이를 해결하기 위해 GPU, NPU와 같은 도메인 특화 프로세서가 등장했다고 설명했다. 그럼에도 불구하고 폰 노이만 아키텍처(Von Neumann Architecture)에서 발생하는 프로세서와 메모리 칩 간 속도 불일치로 인한 병목 현상을 완화하기 위해 HBM, LLW, PIM과 같은 고대역폭의 새로운 근접 메모리 솔루션을 제안했다. 쉽게 말해 이러한 솔루션은 메모리를 CPU에 더 가깝게 배치하여 메모리 접근성과 대역폭을 늘리고, 응답 시간 및 전력 소비를 줄인다. 이러한 발표 내용들을 토대로 삼성이 생성형 AI 시대를 위한 메모리 솔루션을 제공하는 업계 리더로 부상했음을 분명히 알 수 있었다. 앞으로도 삼성은 새로운 데이터 소비 시대에 발맞춰 업계의 요구에 부응할 수 있도록 더 빠르고 효율적인 솔루션을 지속적으로 제공할 것이다.