맞춤형 Foundry 로직-메모리 통합으로 고성능 컴퓨팅의 미래를 앞당기다

고성능 컴퓨팅(HPC)과 인공지능(AI) 워크로드의 규모와 복잡성이 빠르게 증가하면서 업계는 중요한 전환점을 맞이하고 있습니다. 급증하는 데이터 처리 및 전송 요구에 대응하기 위해 시스템 아키텍처에는 이전보다 훨씬 높은 속도와 대역폭, 전력 효율성이 요구되고 있습니다. 흔히 ‘메모리 월(Memory Wall)’이라 불리는 이러한 문제를 극복하고 차세대 컴퓨팅 시스템의 잠재력을 최대한 끌어내기 위해서는 로직과 메모리를 더욱 긴밀하고 고도화된 방식으로 결합해야 합니다.

삼성 Foundry는 첨단 공정 기술과 고대역폭 메모리를 결합한 로직-메모리 통합 솔루션을 통해 이러한 변화에 대응하고 있습니다. 이를 통해 고객에게 더욱 유연한 아키텍처 설계 환경을 제공하고, 차세대 AI 및 HPC 워크로드의 성능 잠재력을 극대화할 수 있도록 지원합니다.

AI 및 HPC 시스템의 진화하는 요구사항

컴퓨팅 워크로드의 규모와 복잡성이 증가함에 따라 시스템은 대역폭(Bandwidth), 용량(Capacity), 지연시간(Latency), 전력(Power)이라는 네 가지 핵심 요소를 중심으로 지속적인 발전이 필요합니다. 각각의 요소는 데이터 이동 과정에서 발생하는 병목 현상을 해소하고 가속기가 최대 성능을 안정적으로 발휘하는 데 중요한 역할을 합니다.

• 대역폭(Bandwidth): 데이터 집약적인 애플리케이션은 모델 규모 확대와 실시간 처리 요구에 대응하기 위해 훨씬 높은 데이터 처리량을 필요로 합니다.


• 용량(Capacity): 메모리 집적도가 지속적으로 향상되고 있지만, 모델과 데이터셋의 규모 역시 빠르게 증가하면서 시스템 차원에서 더 큰 메모리 용량이 요구되고 있습니다.


• 지연시간(Latency): 실시간 및 고성능 애플리케이션에서는 효율적인 연산 사이클을 유지하기 위해 컴퓨팅과 메모리 간 데이터 경로의 지연시간을 최소화해야 합니다.


• 전력(Power): 높은 에너지를 소비하는 AI 워크로드를 지속적으로 확장하기 위해서는 시스템 전반의 전력 효율성을 높이는 것이 필수적입니다.

메모리 기술이 지속적으로 발전하고 있음에도 AI 및 HPC 시스템의 복잡성이 빠르게 증가하고 데이터 중심의 컴퓨팅이 확대되면서 기존 아키텍처만으로는 이러한 요구사항을 충족하기 어려워지고 있습니다. 이에 따라 로직과 메모리를 시스템 설계 단계부터 함께 최적화하는 로직-메모리 공동 설계(Co-design)의 필요성이 더욱 커지고 있습니다.

HBM: 고성능 컴퓨팅의 미래를 앞당기는 핵심 기술

업계에서는 첨단 AI 및 HPC 워크로드의 요구사항에 대응하기 위해 다양한 새로운 기술을 모색하고 있으며, 고대역폭 메모리(High-Bandwidth Memory, HBM)는 뛰어난 대역폭과 전력 효율성, 용량을 바탕으로 핵심 기술로 자리 잡았습니다.

HBM은 현재 주요 AI 추론 및 학습용 가속기에 폭넓게 적용되고 있으며, 향후 혁신의 핵심은 로직과 메모리의 통합 수준을 더욱 높여 HBM의 성능과 활용 범위를 확장하는 데 있습니다. 특히 표준 HBM에 Foundry 로직 공정 기반의 베이스 다이(Base Die)를 통합하는 방식은 차세대 시스템의 성능을 한 단계 더 높일 수 있는 새로운 대안으로 부상하고 있습니다. 이를 통해 아키텍처의 유연성을 높이고 연산 성능을 강화하는 동시에 에너지 효율도 향상할 수 있습니다.

커스텀 HBM 칩렛: 차세대 솔루션

커스텀 HBM(Custom HBM, cHBM)은 기존 HBM의 장점을 기반으로 적층 구조와 실리콘관통전극(Through-Silicon Via, TSV)을 활용해 대역폭을 크게 높이고 지연시간을 낮춥니다. 이는 AI 및 HPC 시스템의 고성능 데이터 처리에 필수적인 요소입니다.

특히 기존 메모리 공정이 아닌 첨단 Foundry 공정으로 베이스 다이를 제조함으로써 메모리 스택 바로 아래에 고객 맞춤형 로직 기능을 추가할 수 있습니다. 이를 통해 성능과 전력 효율을 최적화하고 새로운 시스템 아키텍처를 구현할 수 있는 가능성이 확대됩니다.

삼성 Foundry는 현대 컴퓨팅 환경에서 로직과 메모리의 통합이 점차 중요해지는 흐름에 맞춰 이러한 기술을 발전시키고 있으며, 고객이 시스템 효율성과 아키텍처 유연성을 한층 높일 수 있도록 지원하고 있습니다.

cHBM 칩렛 아키텍처

cHBM은 데이터 이동 효율과 시스템 효율성, 확장성을 높이기 위한 다양한 아키텍처 개선 요소를 제공합니다. 첨단 로직 공정과 고성능 메모리, 차세대 패키징 기술을 결합함으로써 AI 및 HPC 애플리케이션에 보다 유연하면서도 높은 성능의 솔루션을 구현할 수 있습니다.

• HBM 컨트롤러 통합: HBM 컨트롤러를 베이스 다이에 통합하면 데이터 경로를 단순화할 수 있습니다. 이를 통해 전력 소비와 지연시간을 줄이는 동시에 시스템 설계를 간소화할 수 있습니다.


• 고성능 Die-to-Die 인터페이스: Die-to-Die(D2D) 인터페이스를 통해 SoC와 HBM 칩렛을 연결함으로써 데이터 전송 속도와 대역폭을 높일 수 있습니다. 또한 쇼어라인(Shoreline)을 줄여 보다 효율적인 시스템 통합이 가능합니다.


• 맞춤형 로직 통합: 가속기나 메모리 컨트롤러 등의 추가 로직을 로직 베이스 다이에 통합할 수 있어 차세대 AI 및 HPC 워크로드에 맞춰 성능을 최적화할 수 있습니다.


• 첨단 로직 공정을 적용한 베이스 다이: 기존 메모리 공정 대신 첨단 로직 공정을 활용해 베이스 다이를 제조함으로써 더 높은 성능과 낮은 전력 소비, 짧은 지연시간을 구현할 수 있습니다.


• 첨단 패키징 기술: 최첨단 패키징 플랫폼을 활용하면 메모리 대역폭을 수직 방향의 스택 높이뿐만 아니라 수평 방향의 멀티 칩렛 클러스터까지 확장할 수 있습니다. 이를 통해 높은 모듈성과 대역폭을 갖춘 시스템 아키텍처 구현이 가능합니다.

Foundry 로직과 HBM 통합의 이점

첨단 Foundry 로직과 고대역폭 메모리를 통합하면 시스템 성능과 전력 효율성, 설계 유연성 측면에서 다양한 이점을 확보할 수 있습니다.

HBM 베이스 다이의 역할을 새롭게 정의하고 컴퓨팅과 메모리 간의 연계를 강화함으로써 기술적 성능을 높이는 것은 물론, 차세대 AI 및 HPC 플랫폼에 필요한 확장성과 장기적인 최적화 가능성까지 확보할 수 있습니다.

주요 이점은 다음과 같습니다.

• 대역폭 및 용량 확대: Foundry 로직 베이스 다이는 최적화된 쇼어라인과 고속 D2D 인터페이스를 활용해 기존 HBM PHY 기반 구현 방식보다 대역폭을 높이고 더 많은 HBM 스택을 지원할 수 있습니다.


• 지연시간 감소: 메모리 컨트롤러를 베이스 다이에 통합하면 HBM 서브시스템 전체를 하나의 다이에 집적할 수 있습니다. 이를 통해 외부 라우팅을 최소화하고 컴퓨팅과 메모리 간 지연시간을 줄일 수 있습니다.


• 전력 효율 향상: 베이스 다이를 기존 메모리 공정에서 첨단 로직 공정으로 전환함으로써 최신 공정 기술이 제공하는 전력 절감 효과를 활용할 수 있습니다.


• 혁신성과 유연성: 맞춤형 베이스 다이 설계를 통해 가속기, 메모리 컨트롤러, CPU 등의 추가 로직을 통합할 수 있어 특정 애플리케이션의 요구사항에 최적화된 새로운 솔루션을 구현할 수 있습니다.

Foundry가 바라본 앞으로의 방향

AI 모델이 조 단위(Trillion-scale) 파라미터 규모로 확대되면서 업계는 중대한 과제에 직면하고 있습니다. ‘메모리 월’이 실제 HPC 및 AI 시스템의 성능 향상을 제한하는 근본적인 요인으로 부상하고 있기 때문입니다.

칩렛 기반 아키텍처는 이미 컴퓨팅 시스템의 가능성을 새롭게 확장하고 있으며, Foundry 로직 베이스 다이와 HBM의 통합은 컴퓨팅-메모리 공동 설계의 다음 단계로 주목받고 있습니다. 첨단 로직 공정 기술에 통합 D2D 인터페이스와 내장형 HBM 컨트롤러, 그리고 베이스 다이의 맞춤형 로직을 결합함으로써 대역폭과 용량, 성능 및 효율성을 크게 향상할 수 있습니다.

삼성은 로직 공정 로드맵, 축적된 메모리 기술 역량, 그리고 첨단 패키징 플랫폼을 유기적으로 연계함으로써 이러한 전환을 가속화할 수 있는 경쟁력을 갖추고 있습니다.

이는 단순히 개별 기술 간 시너지를 높이는 수준을 넘어, 차세대 cHBM 기반 컴퓨팅 시스템 구현을 위한 장기적이고 전략적인 접근입니다. 삼성은 이러한 통합 역량을 바탕으로 AI 시대의 고성능 컴퓨팅이 나아갈 새로운 방향을 제시하고 있습니다.