새로운 AI 인프라 사이클을 여는 메모리 혁신 1편

오늘날 AI는 대규모 데이터 센터를 넘어 스마트폰과 AI PC, 자동차, 로봇, 산업 현장으로 빠르게 확산되고 있습니다. 클라우드 AI(Cloud AI)와 엣지 AI(Edge AI)가 각자의 강점을 바탕으로 역할을 나누고 함께 성장하면서, 새로운 AI 인프라 사이클이 시작되고 있습니다.

이러한 변화 속에서 메모리는 단순히 데이터를 저장하는 부품을 넘어 AI 시스템의 성능과 에너지 효율을 결정하는 핵심 기술로 진화하고 있습니다.

클라우드 생태계의 확장과 새로운 AI 인프라 사이클

생성형 AI와 추론형 AI를 기반으로 한 다양한 서비스가 등장하면서 AI는 빠르게 일상에 자리 잡고 있습니다. 최근까지 AI 인프라 투자는 하이퍼스케일러가 운영하는 대규모 클라우드 데이터센터를 중심으로 이루어졌습니다. 그러나 이제 AI는 중소기업과 산업 현장, 개인 사용자 영역으로 본격적으로 확산되고 있습니다.

고성능 AI 워크스테이션과 기업·산업 현장에 직접 설치되는 자체 AI 서버, AI PC와 스마트폰 등이 대표적입니다. 데스크톱 크기의 개인용 AI 슈퍼컴퓨터의 등장 역시 이러한 흐름을 보여줍니다.

AI가 데이터가 생성되는 현장 가까이로 이동하는 이러한 흐름의 중심에 엣지 AI가 있습니다. 엣지 AI는 데이터를 중앙 클라우드로 보내 처리하는 대신, 스마트폰이나 PC와 같은 기기나 차량, 공장, 매장 등에 설치된 로컬 시스템에서 AI 연산의 전부 또는 일부를 수행하는 방식을 의미합니다. 기기 자체에서 AI 모델을 실행하는 온디바이스 AI는 엣지 AI의 대표적인 형태입니다.

스마트폰의 실시간 통번역과 이미지 편집, AI PC의 개인 비서 기능, 차량의 주변 환경 인식, 스마트팩토리의 설비 이상 감지 등은 이미 엣지 AI가 일상과 산업 현장에 적용되고 있음을 보여줍니다.

이는 엣지 AI가 기존 클라우드 AI를 대체한다는 의미는 아닙니다. 대규모 모델 학습과 높은 확장성이 필요한 연산은 클라우드가 주로 담당하고, 빠른 반응과 데이터 통제, 현장 대응이 중요한 작업은 엣지에서 처리하는 역할 분담이 확대되고 있습니다. 필요에 따라 클라우드와 엣지가 하나의 워크로드를 나누어 처리하는 하이브리드 구조도 함께 발전하고 있습니다.

결국 AI 인프라는 클라우드에서 엣지로 단순히 이동하는 것이 아니라, 클라우드와 엣지가 상호 보완적으로 확장되는 방향으로 진화하고 있습니다.

엣지 AI가 제공하는 세 가지 핵심 가치

엣지 AI의 가장 큰 특징은 AI가 사용자와 데이터가 있는 곳에 더 가까이 위치한다는 점입니다. 이를 통해 크게 세 가지 가치를 제공할 수 있습니다.

① 초저지연 기반의 실시간 처리

엣지 AI는 데이터를 원격 서버로 전송하고 결과를 다시 받아오는 과정을 줄여 응답 지연을 낮출 수 있습니다. 자율주행차의 위험 감지, 실시간 통번역, 몰입형 게이밍, 로봇 제어, 산업 설비의 이상 탐지처럼 즉각적인 판단과 반응이 필요한 분야에서 특히 중요합니다.

② 데이터 보안과 개인정보 보호

개인의 음성이나 사진, 기업의 생산 데이터와 기밀 정보 등 보안에 민감한 데이터를 외부 서버로 전송하지 않고 기기 또는 현장 시스템 안에서 처리할 수 있습니다. 사용자는 자신의 데이터를 보다 안전하게 관리하면서 AI 서비스를 활용할 수 있고, 기업은 데이터 통제권을 유지하며 AI를 업무에 적용할 수 있습니다.

실제 보안 수준은 하드웨어와 소프트웨어, 네트워크 및 데이터 관리 체계 전반에 의해 결정되지만, 로컬 처리는 민감한 원천 데이터의 외부 전송을 최소화할 수 있다는 장점이 있습니다.

③ 클라우드 비용과 네트워크 부담 절감

모든 데이터를 중앙 서버로 전송하면 네트워크 트래픽과 클라우드 인프라 운영 비용이 증가할 수 있습니다. 반면 반복적이거나 시간에 민감한 작업을 엣지에서 처리하면 클라우드의 연산 부담과 데이터 전송량을 줄이며 네트워크 부담을 절감할 수 있습니다.

또한 네트워크 연결이 원활하지 않은 환경에서도 중앙 클라우드를 거치지 않고 장치 자체(엣지)에서 데이터를 직접 처리하므로, 핵심 AI 기능을 지속적으로 제공할 수 있어 시스템의 안정성과 활용 범위를 높일 수 있습니다.

Agentic AI로 확장되는 엣지 AI

엣지 AI는 단순히 사용자의 명령에 반응하는 수준에서 한 단계 더 나아가고 있습니다. 사용자의 의도와 주변 상황을 이해하고, 여러 작업을 스스로 계획하고 실행하는 Agentic AI로 진화하고 있기 때문입니다.

Agentic AI 환경에서는 하나의 AI 모델만 실행되는 것이 아니라 여러 에이전트가 동시에 정보를 분석하고, 도구를 선택하며, 작업 순서를 조율할 수 있습니다. 이에 따라 AI 가속기뿐 아니라 전체 시스템과 다수의 워크로드를 관리하는 CPU의 역할도 중요해지고 있습니다.

그러나 CPU, GPU, NPU와 같은 xPU의 연산 성능만 높인다고 시스템 전체의 AI 성능이 동일한 수준으로 향상되는 것은 아닙니다. 연산 장치가 아무리 빠르더라도 메모리가 필요한 데이터를 적시에 공급하지 못하면 xPU는 데이터를 기다리게 됩니다.

AI 시스템의 실제 성능은 연산력과 함께 데이터를 저장하는 용량(Capacity), 전달하는 대역폭(Bandwidth), 제한된 전력 안에서 이를 구현하는 에너지 효율(Energy Efficiency)에 의해 좌우됩니다.

특히 엣지 AI는 대규모 데이터센터에 비해 공간과 전력, 냉각 자원이 제한된 환경에서 작동합니다. 데이터센터급 AI 시스템에서 요구되던 고대역폭과 대용량, 높은 에너지 효율이 이제 AI PC, 워크스테이션, 차량, 로봇과 같은 상대적으로 작은 디바이스에도 요구되기 시작했습니다.

엣지 AI 시대에 마주한 세 가지 과제

① 더 큰 AI 모델을 담기 위한 용량

AI 모델이 고도화될수록(AI의 성능이 점점 좋아질수록) 모델을 구성하는 파라미터와 실행 과정에서 생성되는 데이터의 양도 증가합니다. 클라우드에 지속적으로 의존하지 않고 로컬 환경에서 고성능 AI를 구현하려면 더 많은 모델 가중치와 컨텍스트 데이터를 메모리에 담을 수 있어야 합니다.

메모리 용량이 충분하지 않으면 시스템은 필요한 데이터를 스토리지와 메모리 사이에서 반복적으로 이동시키거나 모델의 일부만 나누어 불러와야 합니다. 이 과정은 응답 시간을 늘리고 추가적인 전력을 소비할 수 있습니다.

따라서 고용량 메모리는 엣지 AI가 더 크고 정교한 모델을 로컬에서 안정적으로 실행하기 위한 핵심 조건입니다.

② xPU의 성능을 온전히 활용하기 위한 대역폭

대역폭은 메모리가 xPU에 데이터를 얼마나 빠르게 공급할 수 있는지를 나타냅니다. 생성형 AI와 Agentic AI는 사용자와 상호작용하는 동안 대규모 모델 가중치와 컨텍스트 데이터를 지속적으로 읽고 처리합니다.

이때 메모리 대역폭이 충분하지 않으면 xPU의 연산 자원을 온전히 활용하기 어렵습니다. 빠르고 끊김 없는 AI 응답을 구현하려면 워크로드에 맞는 높은 메모리 대역폭과 효율적인 데이터 이동 구조가 필요합니다.

요구되는 대역폭은 모델 구조와 정밀도, 배치 크기, 목표 응답 속도에 따라 달라지지만, AI 시스템의 주요 병목이 연산 성능뿐 아니라 xPU와 메모리 사이의 데이터 이동으로 확대되고 있다는 점은 분명합니다.

③ 제한된 전력과 공간 안에서의 효율

엣지 AI 시스템은 데이터센터와 달리 활용할 수 있는 전력과 냉각 자원이 제한적입니다. 스마트폰과 AI PC는 배터리 사용 시간을 고려해야 하며, 차량과 로봇은 정해진 전력 예산 안에서 여러 기능을 동시에 수행해야 합니다. 현장에 설치되는 소규모 AI 서버 역시 설치 공간과 발열, 냉각 비용을 함께 고려해야 합니다.

특히 데이터를 저장장치와 메모리, 연산 장치 사이에서 반복적으로 이동시키는 과정은 상당한 전력을 소비합니다. 따라서 단순히 처리 속도만 높이는 것을 넘어 데이터가 이동하는 거리와 횟수를 줄이고, 와트당 더 많은 데이터를 처리하도록 시스템을 설계해야 합니다.

높은 에너지 효율은 배터리 기반 기기의 사용 시간을 늘리는 동시에 발열과 냉각 부담, 전체 시스템 운영 비용을 낮추는 핵심 요소입니다.

더 가까워진 엣지 AI를 위한 새로운 메모리 해법

엣지 AI가 더 크고 정교한 모델을 빠르고 효율적으로 실행하려면 용량과 대역폭, 에너지 효율을 함께 높여야 합니다. 이는 기존 메모리의 성능을 개별적으로 개선하는 것만으로는 해결하기 어려운 복합적인 과제입니다.

연산 장치와 메모리 사이의 물리적 거리를 줄이고, 데이터 이동 자체를 최소화하며, DRAM과 NAND, 로직과 패키징을 시스템 관점에서 연결하는 새로운 메모리 아키텍처가 필요한 이유입니다.

이어지는 2편 “엣지 AI 혁신을 연결하는 삼성전자 메모리 솔루션”에서는 zHBM, LPDDR-PIM, zNAND-O 등 차세대 메모리 솔루션과 삼성전자의 통합 역량이 이러한 과제를 어떻게 해결하는지 살펴봅니다.