새로운 AI 인프라 사이클을 여는 메모리 혁신 2편

1편에서는 엣지 AI가 확산되면서 용량과 대역폭, 에너지 효율이 AI 시스템의 주요 과제로 떠오르고 있음을 살펴봤습니다. 이러한 과제를 해결하는 과정에서 메모리의 역할도 새롭게 정의되고 있습니다.

AI 시스템의 병목을 해결하는 핵심 기술, 메모리

과거 메모리가 연산에 필요한 데이터를 저장하고 전달하는 역할에 집중했다면, AI 시대의 메모리는 시스템 성능과 에너지 효율을 결정하는 핵심 기술로 진화하고 있습니다.

엣지 AI에서는 특히 고용량, 고대역폭, 저전력을 동시에 구현하는 메모리 기술이 중요합니다. 제한된 공간에 더 많은 데이터를 담고, xPU가 기다리지 않도록 빠르게 전달하며, 데이터 이동에 소비되는 에너지를 줄여야 하기 때문입니다.

클라우드와 엣지의 동반 성장 역시 메모리 시장에 새로운 기회를 만들고 있습니다. 클라우드의 대규모 모델 학습과 고성능 추론을 지원하기 위해 서버용 고대역폭, 고용량의 메모리 수요가 확대되고 있습니다. 엣지는 실시간 추론과 개인화된 데이터 처리를 위해 새로운 디바이스와 전력 조건에 최적화된 메모리 수요를 창출하고 있습니다.

엣지 AI에서 생성되고 축적된 데이터는 클라우드에서 모델을 고도화하는 데 활용될 수 있고, 클라우드에서 발전한 모델은 다시 엣지 환경에 맞게 최적화되어 배포됩니다. 이러한 선순환 구조에서 엣지 AI는 기존 클라우드 메모리 시장을 대체하는 것이 아니라 AI의 활용 영역을 넓혀 전체 메모리 반도체 시장의 성장을 이끄는 새로운 축이 됩니다.

입체적인 차세대 기술로 병목을 넘어서는 삼성전자 메모리 솔루션

삼성전자는 엣지 AI가 직면한 용량, 대역폭, 전력 효율의 한계를 극복하기 위해 다양한 차세대 메모리 솔루션을 제시하고 있습니다. 연산 장치와 메모리 사이의 물리적 거리를 줄이는 3D 메모리 아키텍처 기반의 zHBM, 엣지 AI에 최적화된 3D NAND 솔루션 zNAND-O, 메모리 내부에 연산 기능을 통합한 LPDDR-PIM 등을 통해 데이터 이동의 병목을 완화하고 시스템 전반의 성능과 에너지 효율을 높일 수 있는 솔루션을 제시합니다.

데이터 이동 거리를 줄이는 차세대 아키텍처, zHBM

기존 HBM은 실리콘 인터포저 위에 HBM과 xPU를 나란히 배치하는 2.5D 아키텍처를 사용합니다. 실리콘 인터포저를 통한 고밀도 연결과 메모리 다이의 수직 적층을 통해 기존 2D 구조 대비 데이터 이동 경로를 크게 단축했지만, 여전히 메모리와 연산 장치 사이에 존재하는 물리적 거리는 대역폭과 에너지 효율을 더욱 높이는 데 한계로 작용합니다.

zHBM은 이러한 한계를 넘어 xPU와 HBM을 수직으로 직접 통합하는 차세대 3D 메모리 아키텍처입니다. 웨이퍼 온 웨이퍼 방식과 HCB(Hybrid Copper Bonding) 기술로 구리 간 직접 연결을 구현함으로써, 기존 HBM 대비 훨씬 높은 수직 연결 밀도와 병렬성을 확보할 수 있습니다. 또한 데이터 입출력 경로를 분산하는 구조(Distributed I/O)를 적용하여, 핀당 속도를 과도하게 높이지 않고도 더 높은 대역폭과 에너지 효율을 추구하도록 설계되었습니다.

이러한 구조를 통해 데이터 이동 거리가 짧아지면 더 많은 데이터를 빠르게 전달하면서도 데이터 이동에 필요한 에너지를 크게 줄일 수 있습니다. 또한 복잡한 고속 인터페이스 회로에 대한 의존도를 낮추고, 제한된 시스템 면적 안에서 높은 집적도와 대역폭을 구현할 수 있습니다.

그러나 이 경우 xPU의 열이 메모리 스택을 통과해야 하므로 열 관리가 중요한 과제가 됩니다. zHBM은 스택 높이와 적층 구조를 최적화하고 HCB를 적용함으로써 열 저항을 낮추고 보다 효율적인 열 관리 구조를 구현하는 것을 목표로 합니다.

이러한 아키텍처 혁신을 통해 zHBM은 기존 HBM의 세대별 성능 개선을 넘어, 시스템 성능과 전성비를 크게 높이고 열 저항을 낮추는 새로운 가능성을 제시합니다. 이는 단순한 대역폭 향상이 아니라 메모리와 연산 장치의 배치와 연결 구조 자체를 바꾸는 근본적인 변화입니다.

다만 각 xPU는 성능과 전력, 열 특성, 물리적 크기에 대한 요구가 서로 다르기 때문에 zHBM은 단독 메모리 제품으로 최적화되기 어렵습니다. xPU와 zHBM을 초기 설계 단계부터 함께 개발하고 최적화하는 공동 설계가 필수적이며, 로직과 메모리의 정밀 최적화가 더 중요해집니다.

이러한 구조는 대규모 클라우드 AI 시스템은 물론, 장기적으로는 공간과 전력 제약이 큰 고성능 엣지 AI 시스템에서도 대역폭과 에너지 효율의 한계를 확장할 수 있는 가능성을 제시합니다.

메모리 안에서 연산하는 LPDDR-PIM

PIM(Processing-In-Memory)은 메모리 내부에 연산 기능을 결합해 데이터 이동을 줄이는 기술입니다. LPDDR-PIM은 저전력 특성을 갖춘 LPDDR에 PIM 기술을 적용해, 데이터를 xPU로 반복적으로 이동시키는 대신 일부 연산을 메모리 내에서 처리할 수 있도록 합니다.

이를 통해 데이터 이동에서 발생하는 병목과 전력 소모를 줄이고 AI 추론 성능과 에너지 효율을 높일 수 있습니다. 반복적인 데이터 처리가 많은 AI 워크로드나 제한된 전력 안에서 높은 성능을 구현해야 하는 엣지 AI 환경에서 활용 가능성이 큽니다.

대규모 AI 데이터를 빠르게 공급하는 zNAND-O

zNAND-O는 고성능·고용량 NAND와 3D 패키징 기술을 결합해 DRAM과 기존 NAND 스토리지 사이에 새로운 데이터 계층을 제공하는 차세대 메모리 솔루션입니다. 여러 NAND 다이를 수직으로 통합함으로써 제한된 면적에서 용량과 입출력 성능을 높이고, 기존 NAND보다 빠른 데이터 접근과 높은 전력 효율을 구현하는 것을 목표로 합니다.

zNAND-O는 DRAM 대비 높은 용량을 제공하며, 기존 NAND 플래시와 비교해 읽기 성능과 전력 효율을 크게 향상시킵니다. 또한 마이크로초 단위의 짧은 지연 시간과 높은 대역폭을 지향하며, 저전력으로 동작하면서도 고성능 데이터 처리를 지원합니다. 이를 통해 제한된 공간에서도 확장성과 유연성을 확보할 수 있습니다.

삼성전자는 zNAND-O를 활용해 AI 시스템 내 데이터 배치 구조를 최적화하는 새로운 NPU 중심 메모리 아키텍처를 제안합니다. 운영체제와 KV 캐시는 DRAM에 배치하고, 대용량이면서 읽기 작업이 집중되는 모델 가중치는 zNAND-O에 저장함으로써 DRAM 의존도를 줄이는 방식입니다. 이를 통해 성능 저하를 최소화하면서 메모리 비용과 용량 문제를 동시에 해결할 수 있습니다.

또한 zNAND-O는 기존 UMA 기반 DRAM 시스템과 유사한 수준의 성능을 유지하면서도 메모리 구조의 효율성을 크게 개선할 수 있는 가능성을 보여줍니다. 이를 통해 더 큰 규모의 AI 모델을 온디바이스 환경에서도 안정적으로 구동할 수 있는 기반을 제공할 것으로 기대됩니다.

zNAND-O는 AI 워크스테이션과 AI PC 등 실시간 대용량 데이터 처리가 중요한 엣지 AI 환경에서 기존 DRAM의 용량·비용 한계와 NAND 스토리지의 성능 한계를 보완하는 새로운 메모리 계층으로 발전할 수 있습니다.

클라우드와 엣지를 연결하는 삼성전자의 통합 역량

AI는 클라우드에서 엣지로 단순히 이동하는 것이 아닙니다. 클라우드의 대규모 컴퓨팅과 엣지의 실시간·개인화된 AI가 서로의 역할을 확장하며 새로운 인프라 생태계를 만들어가고 있습니다.

이 과정에서 메모리는 데이터를 저장하는 부품을 넘어 AI 시스템의 실제 성능과 에너지 효율을 좌우하는 핵심 기술로 자리 잡고 있습니다. AI가 더 많은 기기와 산업 현장으로 확산될수록 제한된 공간과 전력 안에서 대용량과 고대역폭을 구현하는 기술은 더욱 중요해질 것입니다.

AI 시스템 전체를 최적화하려면 개별 반도체 칩의 성능만 높이는 접근으로는 충분하지 않습니다. 메모리와 로직, 인터페이스, 패키징을 제품 설계 초기부터 함께 고려해야 용량과 대역폭, 전력 효율, 발열, 폼팩터 사이의 복합적인 상충 관계를 해결할 수 있습니다.

삼성전자는 메모리와 로직, 파운드리, 첨단 패키징 역량을 폭넓게 보유하고 있습니다. 이러한 통합 역량을 바탕으로 설계와 공정 기술을 함께 최적화하는 DTCO(Design-Technology Co-Optimization)를 추진하고, 메모리와 로직, 패키징을 시스템 관점에서 연결할 수 있습니다.

특히 3D 적층 기반의 차세대 메모리는 기존 DRAM이나 NAND와 같은 단품 중심의 기술만으로는 완성하기 어렵습니다. 고성능 로직 다이와 미세 공정부터 다이 간 연결, 전력 공급, 열 관리, 첨단 패키징에 이르기까지 다양한 기술 요소를 유기적으로 연계해 설계해야 합니다. 삼성전자의 엔드 투 엔드(End-to-End) 반도체 역량은 이러한 복합적인 과제를 통합적으로 해결하고, 차세대 제품의 성능과 전력 효율은 물론 시스템 차원의 완성도까지 높이는 차별화된 기반이 됩니다.

삼성전자는 앞으로도 메모리와 로직, 패키징의 경계를 넘어서는 혁신을 통해 클라우드부터 엣지까지 AI 인프라 전반의 성능과 효율을 높이고, 새로운 AI 시대를 위한 기술 리더십을 더욱 강화해 나갈 것입니다.