2편: Data Movement 시대를 여는 차세대 메모리 zHBM

1편에서는 HBM이 AI Chip에 필요한 데이터를 공급하며 발전해 온 과정을 살펴봤다. 최근에는 추론과 리즈닝, 긴 문맥 처리와 여러 작업을 연속으로 수행하는 에이전틱 AI가 확대되면서, AI가 읽고 처리해야 할 데이터도 늘어나고 있다. 생성하는 토큰과 KV 캐시가 증가할수록 메모리의 데이터 공급 부담도 커진다.

이에 AI 시스템에서는 연산 성능과 함께, 필요한 데이터를 얼마나 빠르고 효율적으로 전달하는지, 즉 데이터 이동(Data Movement)의 효율이 더욱 중요해지고 있다. 대역폭을 높이면서도 전송에 필요한 에너지와 발열을 함께 관리해야 하는 것이다.

삼성전자가 개발 중인 zHBM은 이러한 요구에 대응하는 차세대 AI 메모리 아키텍처이다. 기존 HBM이 AI Chip 옆에 배치되는 구조에서 나아가, 메모리를 연산 장치 위에 직접 적층한다. 이러한 3D 집적과 분산형 입출력 구조(Distributed I/O)를 통해 짧고 촘촘한 연결을 구현하며, 높은 대역폭과 에너지 효율을 함께 추구한다.

고밀도 수직 연결로 확대하는 대역폭

zHBM의 핵심 기술은 메모리와 연산 장치 사이의 연결 밀도를 높이는 데 있다.

웨이퍼 단위로 적층하는 웨이퍼 온 웨이퍼(Wafer-on-Wafer) 방식과 구리 접합 기술인 하이브리드 카퍼 본딩(Hybrid Copper Bonding, HCB)을 결합하면, 미세한 간격으로 구리와 구리를 직접 연결할 수 있다. TSV(Through Silicon Via, 실리콘 관통 전극)의 크기와 간격을 줄이는 설계는 제한된 면적에 더 많은 수직 연결을 배치할 수 있도록 한다.

이러한 고밀도 연결은 분산형 입출력 구조 기반 설계와 함께 데이터 전송의 병렬성을 높이는 기반이 된다. 더 많은 데이터를 동시에 전달할 수 있어, 핀당 전송률을 과도하게 높이는 부담을 줄이면서 높은 메모리 대역폭을 추구할 수 있다.

짧은 데이터 경로로 낮추는 전송 에너지

직접 적층의 또 다른 장점은 데이터가 이동하는 경로를 단축할 수 있다는 점이다. 연결 경로가 짧아지면 신호를 전달하는 드라이버를 더 작게 설계할 수 있고, 인터페이스 회로의 부담도 줄일 수 있다.

삼성전자는 zHBM의 짧고 넓은 연결 구조를 통해 복잡한 회로에 대한 의존도를 낮추는 방향을 제시한다. 이를 통해 메모리 인터페이스에서 데이터를 전달하는 데 필요한 에너지를 줄이고자 한다.

이는 대역폭이 확대될 때 전력 부담이 함께 커지는 문제를 완화하는 데 의미가 있다. 더 많은 데이터를 공급하면서도 전송 과정의 에너지 효율을 높이는 것이 zHBM이 추구하는 방향이다.

직접 적층에 필요한 열 관리

메모리와 AI Chip을 가까이 연결하려면 열 관리도 함께 고려해야 한다. 메모리를 AI Chip 위에 직접 적층하고 상부로 열을 배출하는 구조에서는, AI Chip에서 발생한 열이 메모리 스택을 통과해야 하기 때문이다.

삼성전자는 필요한 메모리 밀도와 열 성능 사이의 균형을 고려해 스택 높이를 최적화하는 접근을 제시한다.

이처럼 적층 높이와 내부 구조를 함께 설계하는 것은 zHBM의 성능을 안정적으로 구현하기 위한 중요한 조건이다. 연결을 고밀도화하는 기술과 열이 빠져나가는 경로를 고려하는 시스템 통합 설계가 핵심이다.

AI Chip의 요구에 맞추는 메모리 공동 설계

zHBM은 AI Chip과 물리적으로 긴밀하게 연결되므로, 개발 초기부터 두 요소를 함께 설계하는 것이 중요하다.

AI Chip마다 목표 성능과 전력, 발열 특성, 물리적 크기가 다르다. 이에 따라 필요한 메모리 용량과 대역폭은 물론, 연결부의 배치와 적층 구조도 달라질 수 있다. 메모리의 사양을 독립적으로 정한 뒤 연결하는 방식만으로는 이러한 조건을 충분히 최적화하기 어렵다.

따라서 zHBM에서는 메모리와 AI Chip의 공동 설계(Co-design)와 시스템 요구에 맞춘 공동 최적화(Co-optimization)가 중요해진다. 초기 단계부터 데이터 연결, 전력 공급, 적층과 열 관리를 함께 검토해야 각 파트너의 아키텍처에 적합한 솔루션을 구현할 수 있다.

통합 기술 역량을 바탕으로 한 개방형 협력

이러한 공동 설계에는 여러 기술 영역을 함께 이해하고 조율하는 역량이 필요하다. 삼성전자는 세계에서 유일하게 메모리부터 첨단 패키징을 아우르는 IDM(Integrated Device Manufacturer) 반도체 회사로서 통합적인 기술 기반을 갖추고 있다.

메모리 기술은 데이터를 저장하고 공급하는 구조를, 로직 설계와 파운드리 공정은 인터페이스 구현을, 첨단 패키징은 미세한 수직 연결과 적층 구조를 뒷받침한다. 이들 기술을 연계해 검토할 수 있다는 점은 zHBM을 시스템 요구에 맞춰 개발하는 중요한 기반이 된다.

삼성전자는 이러한 역량을 바탕으로 고객의 AI Chip 아키텍처와 성능·전력·열 조건에 맞춘 zHBM 공동 개발을 지향한다. 이는 메모리와 연산 장치의 연결이 실제 AI 시스템에서 효율적으로 작동하도록 고객과 함께 최적화하는 접근이다.

AI가 더 복잡한 작업을 수행할수록 메모리와 연산 장치 사이의 협력도 긴밀해져야 한다. 삼성전자는 zHBM을 통해 데이터 이동의 효율을 높이고, 고객 및 파트너와의 공동 설계를 바탕으로 차세대 AI 시스템에 필요한 메모리 솔루션을 구체화해 나갈 것이다.