OCP Global Summit: 차세대 메모리 솔루션으로 AI를 강화하다

AI 혁명이 데이터 센터와 서버 메모리 환경을 변화시키면서 고용량 및 고대역폭 솔루션에 대한 수요가 기하급수적으로 증가하고 있다. 이러한 추세는 기존 메모리 기술과 아키텍처에 도전하고 있으며, 업계는 혁신적인 솔루션이 절실히 필요함을 강조하고 있다.

캘리포니아주 산호세에서 10월 15일부터 17일까지 개최된 2024 OCP 글로벌 서밋에서 삼성전자는 차세대 메모리 기술을 강조하며, 이러한 솔루션이 파트너 협력을 통해 구현되어 AI의 증가하는 요구를 해결하는 동시에 실질적인 영향을 미칠 수 있는 솔루션을 전시하였다.

데이터 집약적인 워크로드에 대한 요구가 계속 증가함에 따라 삼성전자는 메모리 및 스토리지 기술 분야에서 첨단 솔루션을 공개하였다. 그 핵심에는 Compute Express Link (CXL) 솔루션 외에도, DRAM 및 스토리지 솔루션이 함께 한다.

삼성전자 차세대 CXL 솔루션

AI 산업의 빠르게 증가하는 요구를 충족하기 위해 이번 행사에서 삼성은 기존 메모리 아키텍처의 한계를 해결하고 효율적인 리소스 관리 및 메모리 확장을 가능케 하는 CMM-D, CMM-H 및 CMM-B를 포함한 다양한 CXL 솔루션을 공개했다. 이러한 CXL 솔루션은 CXL 2.0 기술을 활용, CPU, GPU 및 가속기 간의 원활한 통신을 가능하게 하여 데이터 센터 환경에서 성능을 크게 향상시킬 수 있다.

CXL 솔루션의 주요 하이라이트는 CMM-D (CXL Memory Module – DRAM)로, 이는 용량 및 성능에 실질적인 이점을 제공하여 서버 메모리 확장성을 재정의할 것으로 예상된다. CMM-D 협업 코너에서 삼성은 CMM-D가 장착된 파트너의 서버 데모를 선보이며 데이터 집약적인 환경에서 CXL 메모리의 혁신적인 영향력을 보여주었다.

그 외 CMM-D와 낸드 플래시를 결합한 CMM-H (CXL Memory Module - Hybrid)를 PM (Persistent Memory) 및 TM (Tiered Memory) 타입으로 제공하여 차세대 애플리케이션에 최적화된 메모리 용량 및 대역폭을 제공한다. 지연 시간 문제를 해결하여 데이터 전송을 향상시키기 위한 삼성의 CMM-B(CXL Memory Module - Box) 솔루션은 복잡한 워크로드에 대한 더욱 원활한 경험을 제공하며, 광범위한 메모리 풀을 지원하는 기능은 까다로운 데이터 프로세스를 효율적으로 처리할 수 있도록 추가로 보장한다.

디램과 스토리지 솔루션을 통한 끊임없는 혁신

CXL제품 라인업 외, DRAM 및 스토리지 기술의 발전은 여전히 삼성 차세대 메모리 솔루션의 중요한 구성 요소이다. 예를 들어 HBM3E는 AI 모델의 엄청난 데이터 요구 사항을 처리하도록 설계되어 최대 1,250GB/s의 속도를 제공하고 열 효율성을 12% 향상시킨다. 이는 AI 애플리케이션 전반에 걸쳐 원활하고 빠른 데이터 처리를 위한 핵심 요소라 할 수 있다.

이를 보완하는 RDIMM (Registered DIMM) 은 전기 부하를 줄여 고성능 시스템을 안정화함으로써 과중한 작업 부하에서도 신뢰성을 보장한다. 더 많은 대역폭을 요구하는 애플리케이션의 경우 MCRDIMM(Multi-Ranked Buffered Dual In-Line Memory Module)이 2세대 기반 최대 12.8Gbps의 데이터 처리량을 제공하여 AI 및 고성능 컴퓨팅 작업 처리에 중요한 이점을 제공한다.

그 외, AI 가속 및 3D 렌더링을 위해 업계 최초의 24Gb GDDR7가 해당 행사에 함께 전시되었다. 24Gb GDDR7은 5세대 10나노(nm)급 DRAM을 사용하고 패키지 크기는 동일하게 유지하면서 이전 제품에 비해 셀 용량을 50% 증가시킨다. 펄스 진폭 변조(PAM3) 신호 기술은 데이터 전송 속도를 25% 향상시켜 속도가 40Gbps에 도달하여 AI 워크스테이션, 데이터 센터 및 자율 주행과 같은 차세대 애플리케이션에 최적의 솔루션으로 여겨진다.

스토리지 분야에서 삼성의 PBSSD(Petabyte-scale SSD) 및 PM9D3a SSD는 클라우드와 엔터프라이즈 응용처의 증가하는 수요를 충족하도록 설계되었다. PBSSD는 삼성의 최신 V-NAND 기술을 바탕으로 가령 26개의 BM1743과 6개의 PM9D3a를 결합하여 최대 928TB의 구성으로 확장성을 향상시킬 수 있다. 또한 전력 최적화 기술로 에너지 소비를 약 20% 줄이고 데이터 센터의 랙 용량을 높인다. PM9D3a은 업계에서 가장 빠른 8ch PCIe 5.0 SSD로 2.5버전 기반 OCP DC 사양으로, 고속 성능과 안정적인 데이터 전송을 보장하고, BM1743 SSD는 최신 엔터프라이즈 인프라에 맞춤화 된 확장 가능하고 고성능 스토리지 솔루션에 대한 삼성의 노력을 보여준다.

패널 토론: Scaling Interconnect and Memory for AI Clusters

10월 15일, 삼성전자 메모리사업부 DRAM 솔루션팀 송택상 상무는 AI 시스템 확장, 특히 AI 상호 연결 및 메모리 기술의 과제와 해결책에 초점을 맞춘 기조 패널 토론에 참여했다. 다른 패널리스트로인 Marvell의 Nigel Alvares상무, Astera Labs의 Chris Petersen연구위원과 함께 메모리 계층 구조, 확장에서 CXL의 중요성, 신뢰할 수 있는 상호 연결 및 냉각 시스템의 필수적인 역할을 둘러싼 중요한 주제를 탐구했으며, 추론에서 지연 시간 문제를 해결하고 CXL 메모리가 이러한 과제를 해결할 수 있는 잠재력에 다같이 공감했다.

패널 토론에서 송태상 상무는 유연하고 안정적인 AI 솔루션의 중요성을 강조했다. 그는 성능 향상을 위한 자원 분산 및 도메인 특정 관찰의 중요성을 얘기하는 한편 데이터 센터 냉각 시스템이 제기하는 과제를 자세히 살펴보았으며, 냉각과 관련된 높은 에너지 소비와 에너지 효율을 높이기 위해 이러한 시스템을 최적화해야 할 필요성을 강조했다.

또한, 송택상 상무는 삼성의 CXL 솔루션을 소개하면서, 특히 CXL 메모리 풀 액세스 지연 시간과 대량의 데이터를 원활하게 전송하는 효율성에 초점을 맞추었다. CXL 메모리를 메모리 근접 엔진과 함께 사용하면 메모리 용량과 지연 시간 간의 차이를 해소할 수 있으며, 이 분야에서 유망한 솔루션을 제공할 수 있다고 제안하면서, 이 혁신적이고 확장 가능한 차세대 메모리 솔루션은 높은 용량과 대역폭을 제공하여 추가 인프라 투자없이 원활한 메모리 공유 및 확장을 가능하게 하여 AI 시대에 뛰어난 장점을 가져올 수 있음을 소개했다.

AI 시대에 발맞춘 업계 협력 확장

삼성은 차세대 CXL 솔루션 관련 파트너와의 협력을 위해 2022년 메모리 연구 센터(Samsung Memory Research Center) 내 OCP 체험 센터를 설립했다. 이 메모리 연구 센터는 고객과 파트너에게 OCP 인증 제품을 경험하고 다양한 프로젝트를 협력할 수 있는 기회를 제공한다. 행사 기간 동안 삼성은 Red Hat, Dell, Broadcom과의 협력을 통해 개발된 CMM-D 참조 아키텍처를 소개하고, TCO를 줄이는 실제 사용 사례를 선보이며 CMM-D가 가능하게 하는 메모리 확장 개념을 강조했다.

삼성은 업계 전반의 파트너십을 통해 혁신을 주도 하고 오픈 소스 생태계에 적극적으로 기여하고 있다. 하드웨어 설계 및 메모리 기술을 발전시킴으로써 AI 및 데이터 인프라의 급증하는 요구 사항을 충족하는 획기적인 솔루션을 육성하고, AI 기술의 빠른 진화에 발맞추기 위해 업계 경계를 넘어 협력을 통해 최첨단 솔루션을 현실로 만들어 갈 예정이다.