본문으로 이동

Agentic AI 시대의 시스템 메모리 재설계, SOCAMM2

  • 메일

AI는 이제 단순히 답을 생성하는 수준을 넘어, 목표를 바탕으로 스스로 추론하고 계획하며 행동하는 방향으로 발전하고 있다. Agentic AI는 한 번의 프롬프트에 응답하는 데 그치지 않고, 목표를 달성하기 위해 여러 작업을 연속적으로 수행하며 상황에 따라 다음 행동을 조정해 나간다.

여행 계획을 예로 들어보면, 생성형 AI(Generative AI)는 사용자의 취향에 맞는 여행지를 추천하고 일정을 제안한다. Agentic AI는 여기서 한 걸음 더 나아가 항공편과 호텔을 검색하고 비교한 뒤 예약 가능 여부를 확인하며 일정을 조율한다. 상황이 달라지면 앞서 세운 계획을 다시 조정해 다음 작업을 이어갈 수도 있다.

이처럼 여러 단계의 작업을 연속해서 수행하려면 앞선 대화와 작업 결과를 다음 판단에 계속 활용해야 한다. 그만큼 모델 호출이 반복되고, 각 단계에서 생성되는 문맥(Context)과 중간 데이터의 양도 함께 늘어난다. 필요한 정보를 유지하고 빠르게 활용하는 일이 중요해지면서, Agentic AI를 뒷받침하는 시스템 메모리에도 새로운 요구가 생기고 있다.

 

Agentic AI의 작동 방식: 계획에서 실행까지

Agentic AI는 LLM의 추론과 외부 도구 활용을 반복하며 목표를 수행한다. 현재 상황을 바탕으로 다음 행동을 판단하고, 필요한 도구를 활용해 정보를 얻은 뒤 그 결과에 따라 다음 단계를 이어간다.

이러한 과정을 설명하는 대표적인 방식이 ReAct(Reasoning and Acting) 프레임워크다. ReAct는 추론(Reason), 실행(Act), 결과 확인(Observe)을 반복하며 다음 행동을 결정하는 구조다.

Reason → Act → Observe → Reason (추론 → 실행 → 관찰 → 추론)

에이전트는 각 단계에서 현재 작업의 상태를 확인하고 다음 행동을 결정한다. 필요하면 외부 도구를 활용해 정보를 검색하거나 계산을 수행하고, 데이터를 불러온다. 이렇게 얻은 결과를 다시 다음 판단에 활용해 기존 계획을 이어갈지 수정할지 결정한다. 이 과정은 목표를 달성할 때까지 반복될 수 있다.

이 과정에서 LLM도 여러 차례 호출될 수 있다. 앞선 메시지와 도구 호출(Tool Calls), 실행 결과(Tool Results), 중간 정보 등이 다음 모델 호출의 문맥(Context)으로 이어지기 때문에, 이후 판단에는 이전 단계에서 처리한 내용이 반영된다.

멀티 에이전트(Multi-agent) 시스템에서는 관리해야 할 정보가 더 늘어난다. 여러 에이전트가 조사, 계획, 실행 등의 역할을 나눠 수행하면서, 필요에 따라 중간 결과와 작업 이력을 저장하고 공유하기 때문이다.

3일 여행 계획을 예시로 AI가 3단계의 추론 및 도구 호출을 수행하고, 이전 단계의 컨텍스트를 재사용해 최종 여행 일정을 생성하는 과정을 나타낸 다이어그램
ReAct 프레임워크를 기반으로 살펴보는 Agentic AI의 작업 수행과 Context 축적 과정
3일 여행 계획을 예시로 AI가 3단계의 추론 및 도구 호출을 수행하고, 이전 단계의 컨텍스트를 재사용해 최종 여행 일정을 생성하는 과정을 나타낸 다이어그램
ReAct 프레임워크를 기반으로 살펴보는 Agentic AI의 작업 수행과 Context 축적 과정

 

Agentic AI 서버 메모리의 4대 요구사항

문맥이 길어지고 동시에 처리해야 할 작업이 많아질수록 시스템 메모리의 용량과 대역폭이 더욱 중요해진다. 용량은 한 번에 얼마나 많은 작업 데이터를 메모리에 유지할 수 있는지를, 대역폭은 필요한 데이터를 얼마나 빠르게 주고받을 수 있는지를 결정한다.

하지만 메모리 용량만을 늘리는 것으로는 충분하지 않다. 메모리 구성이 커질수록 전력 소비와 발열이 증가하고, 서버 내부에서 차지하는 공간도 함께 늘어날 수 있기 때문이다.

따라서 Agentic AI를 위한 시스템 메모리는 용량, 대역폭, 전력 효율, 공간 효율을 함께 고려해야 한다.

 

AI 서버의 변화하는 요구에 적합한 LPDDR

LPDDR은 모바일 기기를 위해 개발된 메모리로, 높은 대역폭과 낮은 전력 소비, 소형 폼팩터를 강점으로 발전해 왔다. 이러한 특성은 앞서 살펴본 AI 서버의 메모리 요구사항과도 잘 부합한다.

높은 대역폭은 AI 워크로드에서 발생하는 대량의 데이터 전송을 효율적으로 지원하며, 저전력 동작은 대용량 메모리 구성에 따른 전력 소비와 발열 부담을 줄이는 데 기여할 수 있다. 또한 소형 패키지는 제한된 기판 공간을 효과적으로 활용해, 메모리 용량을 보다 유연하게 구성할 수 있도록 한다.

이러한 특성을 바탕으로 LPDDR은 메모리 성능과 용량을 높이는 동시에 전력 소비와 공간 제약을 고려해야 하는 AI 시스템에 적합한 메모리 솔루션이다.

다만 AI 서버의 메모리 요구사항은 고정되어 있지 않다. 모델과 워크로드, 배포 환경에 따라 필요한 메모리 구성이 달라지며, 서버 수명주기 전반에 걸쳐 메모리 구성에 대한 요구도 지속적으로 변화할 수 있다. 기존의 납땜 방식(Solder-down) LPDDR은 메인보드에 실장한 이후 메모리 구성을 변경하기 어렵다는 한계가 있다.

 

Solder-down LPDDR에서 SOCAMM2로

이러한 한계를 해결하기 위해 SOCAMM2는 LPDDR을 탈착 가능한 서버용 메모리 모듈로 구현했다. 이 모듈형 아키텍처는 LPDDR의 높은 대역폭과 전력·공간 효율의 이점을 유지하면서 메모리 구성의 유연성을 높인다.

Solder-down LPDDR 방식에서는 메모리 용량이 대부분 시스템 설계 단계에서 결정된다. 용량을 늘리려면 추가 패키지와 기판 공간이 필요하며, 서버 구축 이후에는 메모리를 교체하거나 업그레이드하기도 어렵다.

반면 SOCAMM2는 메인보드를 교체하지 않고도 메모리 모듈을 교체하거나 업그레이드할 수 있다. 이를 지원하는 서버 플랫폼에서는 다양한 AI 워크로드에 맞춰 메모리 용량을 구성할 수 있으며, 유지보수와 서버 수명주기 관리도 한층 용이해진다.

수평형 폼팩터(Horizontal Form Factor)는 시스템 설계 최적화에도 이점을 제공한다. 프로세서와 가속기 주변 공간을 보다 효과적으로 활용할 수 있어, 고밀도 AI 서버에서 히트싱크 배치를 최적화하고 전면에서 후면으로 이어지는 공기 흐름(Airflow)을 고려한 설계가 가능하다.

이처럼 SOCAMM2는 LPDDR의 효율성을 유지하면서 모듈형 설계를 통해 다양한 AI 워크로드에 적합한 메모리 구성을 지원한다.

이러한 기술적 차별성을 인정받아 삼성전자의 LPDDR5X SOCAMM2는 CES 2027 혁신상을 수상했다.

 

미래를 향한 진화: LPDDR6 기반 SOCAMM2

LPDDR6는 모듈형 아키텍처를 유지하면서 대역폭과 용량, 전력 효율을 한층 높여 SOCAMM2의 다음 단계 발전을 뒷받침할 기반이 될 것이다.

이러한 기술적 진화는 AI 메모리 요구가 확대되고 서버 구성이 다양해지는 환경에서 시스템 설계자가 다양한 요구에 맞춰 서버를 설계할 수 있는 유연성을 높여준다.

Agentic AI 워크로드가 더욱 길어지고 반복성이 높아지는 동시에 여러 작업을 병렬로 처리하는 형태로 진화함에 따라, SOCAMM2는 변화하는 AI 인프라의 메모리 요구에 발맞춰 확장할 수 있는 시스템 메모리 솔루션을 제공한다.

앞으로 LPDDR6 기반으로 진화하면서 SOCAMM2는 차세대 AI 인프라의 변화하는 요구에 맞춰 지속적으로 확장해 나갈 수 있을 것이다.

 


* 본 페이지의 내용은 정보 제공만을 목적으로 합니다. 삼성 및 그 임원, 자문인, 대리인 또는 직원은 본 페이지에 포함된 정보, 진술, 의견 또는 기타 내용의 정확성, 합리성 또는 완전성에 대하여 명시적 또는 묵시적으로 어떠한 진술이나 보증도 하지 않으며, 해당 내용은 "있는 그대로(AS IS)" 제공됩니다.
 
* 삼성은 본 블로그에 제공된 내용의 사용 또는 이에 대한 신뢰로 인해 발생하거나 이와 관련하여 발생하는 어떠한 손해에 대해서도 책임을 지지 않습니다. 본 블로그의 어떠한 내용도 본 블로그를 통해 제공되는 정보, 자료, 콘텐츠 또는 기타 지식재산에 대한 라이선스 또는 권리를 부여하는 것으로 해석되지 않습니다.
 
* 본 블로그에는 미래예측진술(Forward-looking Statements)이 포함될 수 있습니다. 이러한 진술은 미래 성과를 보장하는 것이 아니며, 삼성, 시장 또는 산업과 관련된 실제 전개 상황이나 결과는 해당 진술에 명시적 또는 묵시적으로 표현된 내용과 중대하게 다를 수 있습니다.