삼성은 AI 혁명을 통해 어떻게 메모리와 데이터 처리에 대해 새롭게 인식하게 되었는가

각 세대별로 고대역폭 메모리(HBM)의 속도, 전력 효율성 및 성능은 점진적 개선을 이루어 왔다. 그러나 기존의 HBM은 더 이상 인공지능(AI) 및 머신러닝(ML) 부문의 혁신 속도를 따라가지 못하고 있었다. 이는 AI/ML 애플리케이션이 엄청난 양의 데이터를 처리할 뿐만 아니라 항상 더 빠르게 더 잘 처리할 것으로 기대되기 때문인데, 이는 가장 파악하기 어려운 변수인 대역폭의 증가를 필요로 한다. 프로세싱 인 메모리(Processing-in-memory, PIM) 기술 개념은 대역폭 한계를 해결하는 솔루션으로 30년 이상 논의, 검토, 수정되어 왔다. 그러나 이러한 기술적 문제를 해결하기 위한 추진력은 충분치 않았다. 그 이유는 다음과 같다. PIM 기술 문제는 메모리와 로직 통합이 항상 메모리 최적화 프로세스에서 저장 용량을 포기하거나 로직 최적화 프로세스에서 트랜지스터 성능을 포기하게 하는 상충 현상과 관련이 있다. 결과적으로 PIM 장치의 성능과 기능은 기술적 장애 및 통합 비용에 비해 항상 기대에 못 미치는 수준이었고, 이 때문에 기존의 von Neumann 아키텍처(별도의 프로세서 및 메모리 장치)가 최고의 자리를 차지해 왔다. AI/ML 기반 ‘앱’의 수요 폭발로 PIM 기술 개발에 대한 투자가 촉진되고 있다. 이는 AI/ML 알고리즘이 대용량 데이터에의 고속 액세스를 필요로 하고, 최신 시스템에서는 메모리 대역폭과 소비 전력이 궁극적으로 AI/ML 애플리케이션의 성능과 기능을 제한하기 때문이다. PIM 기술은 고성능 메모리 장치 (병렬) 뱅크에서의 동시 처리를 위해 높은 수준의 공간적 시간적 현지성을 지닌 데이터 액세스를 매핑함으로써 데이터 이동을 최소화하는 최적의 커널과 함께, AI/ML 워크로드를 처리하기에 아주 적합하다. 이러한 방법으로 PIM은 전형적인 CPU/GPU 메모리 대역폭 병목 현상을 해결하였고, 이를 통해 AI/ML 애플리케이션 성능과 기능을 향상시켰다. HBM-PIM 기술을 적용한 삼성의 새로운 고대역폭 메모리는 고성능, 병렬 데이터 처리, 그리고 DRAM을 하나의 반도체 위에 통합한 최초의 메모리이다. HBM-PIM은 JEDEC 표준 HBM2 사양을 기반으로 하지만, ‘프로세서 인 메모리’ 또는 PIM 아키텍처와 함께 더욱 강화되고 있다. HBM2의 성공을 기반으로 삼성은 향후 출시 예정인 HBM3에 PIM 기술 내장 계획을 이미 검토하고 있다.

삼성전자 반도체의 메모리 마케팅 담당 부장인 Ten Shiah는 “메모리에 프로세싱용 트랜지스터 기술을 배치함으로써 두 세계를 하나로 만들었다”면서, “소프트웨어 엔지니어는 이제 간단한 명령만 작성해서 HBM-PIM의 1.2TFLOPS 프로그래밍 가능 컴퓨팅 유닛을 이용할 수 있으며, 따라서 모든 지역적이고 반복적인 워크로드가 더 빠르게 발생한다”고 덧붙였다. HBM-PIM은 (예를 들자면) 데이터 센터 시스템 설계자, GPU 설계자, IT 관리자 및 기술 기업 회계사에게 비교적 쉽게 큰 도약을 이룰 기회를 제시한다. HBM-PIM은 에너지 소비는 70% 이상 줄이면서 시스템 성능은 두 배 이상 개선했다. 더불어, HBM-PIM은 하드웨어 또는 소프트웨어 변경 없이 기존 시스템에 원활하게 통합될 수 있다.

Argonne의 컴퓨팅, 환경 및 생명 과학 부서의 Associate Laboratory Director인 Rick Stevens는 “삼성이 HPC 및 AI 컴퓨팅을 위한 메모리 대역폭과 전력 문제를 해결하고 있다는 사실을 알게 되어 기쁘다”면서, “삼성의 HBM-PIM 디자인은 중요한 AI 애플리케이션 클래스에서 인상적인 성능과 전력 혜택을 보여주었다”고 말했다. 자연어 처리(음성 인식, 번역), 이미지 분류. 추천 엔진 같은 AI 기반 애플리케이션을 스마트폰에 탑재하는 것은 이제 당연한 일이 되었을 뿐 아니라, 스마트 스피커, 차량, 웨어러블 기기 및 가정에서도 당연히 필요한 것이 되었다. 이제는 AI의 도움을 받는 미래를 상상하는 것보다, 우리의 삶이 어디까지 ‘지능화’될 수 있는가를 상상해야 한다.

반도체 혁신의 타임라인에서 적어도 현재는 대역폭이 AI/ML 성능의 주요 한계 요인이 되던 지점은 이미 통과한 것 같다. 삼성이 가장 최근 선보인 업계 최초의 HBM-PIM 혁신과 함께, 이제는 공식적으로 ‘기다림을 떠나’ AI 기반의 미래로 가는 궤도에 오른 것이다.