삼성전자 메모리는 어떻게 AI 혁명을 이끌어 가고 있는가

Midjourney, Google Bard, ChatGPT/GPT–4와 같은 새로운 하이퍼스케일 인공지능(AI)은 업계를 뒤흔들며 우리의 삶을 근본적으로 변화시키고 있다. 그러나 인간과 같은 수준의 AI 모델을 구동하기 위해서는 기존의 데이터 병목 현상을 극복할 수 있도록 특수 설계된 메모리, SSD 등 #삼성전자반도체에서 제공할 수 있는 첨단 메모리 기술이 필요하다. 다음은 삼성전자에서 AI와 머신러닝(ML) 애플리케이션을 위해 개발한 혁신 중 일부에 대한 소개이다. AI 데이터 이동 감소를 위한 PIM 기술 AI와 ML 모델에서는 D램을 통해 일반적인 애플리케이션보다 훨씬 더 많은 데이터가 이동합니다. 그러나 이렇게 데이터 이동이 많아지면 성능에 타격을 주게 된다. 그 이유는 다음과 같다. 전통적인 컴퓨팅 방식인 Von Neumann 아키텍처를 사용하는 기존 컴퓨터에서는 데이터가 CPU와 같은 프로세서와 메모리 사이를 순차적으로 이동한다. 이러한 시스템에서는 명령어 가져오기와 데이터 처리를 동시에 수행할 수 없다. 기존 애플리케이션보다 더 많은 양의 데이터를 처리해야 하는 AI는 데이터 병목 현상으로 인해 정체가 발생하여 성능이 느려지고 전력 사용이 증가하게 된다. 기존 메모리 솔루션에 대한 초거대 AI의 기하급수적인 데이터 수요를 해결하기 위해 삼성전자에서는 고대역폭 메모리(HBM)에 PIM(Processing-in-Memory) 기술을 적용하였다. PIM 기술을 통해 프로세서를 HBM D램에 바로 구현하여 일부 데이터 연산 작업을 프로세서에서 메모리 자체로 오프로드 하였다. 즉, CPU에서만 수행하던 데이터 처리 기능의 일부를 메모리 내부에 구현하였다. 이로써 데이터 이동을 줄이고 AI의 에너지 및 데이터 효율성을 향상시킨다. PIM 기술을 사용해서 AI 애플리케이션을 구동한 결과, 6B(60억) 크기의 AI 모델의 경우, 전체 연산 기능의 80% 이상을 PIM을 통해 가속화할 수 있어서 성능을 3.5배 향상시킬 수 있을 것으로 예상할 수 있다. AI 모델을 위한 Advanced SSD AI가 메모리를 통해 기존 애플리케이션보다 더 많은 데이터를 이동해야 하는 것과 마찬가지로, 디스크와 같은 저장 장치에서도 더 작은 단위로 더 자주 데이터를 쓰고 액세스해야 한다. 기존 SSD에 대한 AI의 특별한 요구 사항을 해결하기 위해 삼성전자에서는 두 가지 새로운 기술을 개발했다. 첫 번째는 메모리 시맨틱 SSD이다. 메모리 시맨틱 SSD를 AI에 사용하면 성능을 최대 20배 향상시킬 수 있다. 작은 크기의 데이터를 읽고 쓰는 데 최적화된 메모리 시맨틱 SSD는 드라이브의 랜덤 읽기 속도를 높이는 동시에 지연 속도를 낮추기 때문에 AI나 ML과 같은 더 작은 데이터 세트를 빠르게 처리해야 하는 워크로드에 적합한 솔루션이다. 두 번째는 AMD 어댑티브 플랫폼 기반의 삼성전자 스마트SSD이다. 메모리에 통합된 PIM 기술과 마찬가지로 스마트SSD는 스토리지에 프로세서를 탑재한 컴퓨팅 스토리지 드라이브이다. 스마트SSD는 데이터 자체가 저장된 위치에 가깝게 데이터를 프로세싱 함으로써 초거대 AI와 같은 데이터 집약적 애플리케이션의 속도를 급격히 가속화할 수 있다. AI 애플리케이션용 CXL을 통한 더욱 빠른 인터페이스 컴퓨트 익스프레스 링크(CXL, Compute Express Link) 인터페이스는 프로세서와 메모리 사이의 고속 및 고용량 연결을 위한 개방형 표준이다. 삼성전자 반도체는 CXL 표준의 고유한 강점을 활용해서 하이퍼스케일 애플리케이션의 성능과 효율성을 개선할 수 있는 새롭고 혁신적인 솔루션을 개발했다. AI, 머신러닝 및 클라우드 컴퓨팅과 같은 기술에는 기존의 D램보다 더 큰 용량과 대역폭 메모리가 필요하다. 기업들이 이러한 AI 혁신의 엄청난 속도에 발맞출 수 있도록 삼성전자에서는 서버의 메모리 용량을 수십 테라바이트로 확장하는 동시에 초당 수백 기가바이트로 대역폭을 향상시키는 CXL 메모리 익스팬더 기술을 개발했다. 또한, CXL-PNM도 있다. PIM과 스마트SSD와 마찬가지로 CXL-PNM(Processor-near-Memory)은 CPU와 메모리 사이의 데이터 이동을 감소할 수 있는 최첨단 기술이다. CXL-PNM 기술은 프로세싱 유닛을 메모리에 더 가깝게 배치함으로써 AI 모델의 로딩 속도를 2배, 용량을 최대 4배까지 향상시킨다. 마무리 21세기에 AI의 중요성이 계속해서 커질 것이기 때문에 #삼성전자반도체는 하이퍼스케일 및 머신러닝 애플리케이션을 위한 차세대 기술 개발과 이를 지원하는 데 필요한 소프트웨어 및 시뮬레이터 출시에 전념하고 있다. AI의 혁명은 이제 막 시작되었을 뿐이다.