[시스템LSI 테크 데이 2023] 초지능화: AI 시대를 위한 하이퍼 인텔리전스

생성형 인공지능(AI) 및 각종 첨단 애플리케이션의 등장으로 인해 시장에서는 효율성, 확장성, 저전력을 갖춘 더욱 스마트하고 강력한 컴퓨팅을 요구하고 있다. 이에 따라 삼성 시스템LSI 테크 데이 2023의 주요 테마 중 하나인 하이퍼 인텔리전스를 주제로 온디바이스 컴퓨팅 기술, 멀티미디어 애플리케이션, 삼성 오토 SoC(System-on-Chips) 등 세 개의 강연이 진행되었다.

온디바이스 컴퓨팅 기술

첫번째 세션인 "온디바이스 컴퓨팅 기술"은 삼성 오스틴 연구센터 베니 카티비안(Benny Katibian) 부사장이 진행했다. 카티비안 부사장은 온디바이스 컴퓨팅 기능을 모바일 환경에 도입하기 위한 삼성 시스템LSI의 세 가지 주요 IP개발 방향성을 소개했다. 최적화된 4클러스터 구조의 CPU 세 개의 주요 IP 중 첫 번째는 CPU로, 기존에는 시간에 민감한 애플리케이션을 위한 하이엔드(high-end) 클러스터, 백그라운드 애플리케이션을 위한 로우엔드(low-end) 클러스터, 중간 클러스터 등 세 개의 클러스터로 구성되었다. 삼성은 보다 효율적인 CPU 운영을 위해 중간 클러스터를 미드 하이(mid-high)와 미드 로우(mid-low)의 두 가지 계층으로 나누고, 미드 하이 계층은 게임과 같은 컴퓨팅 집약적인 애플리케이션에 사용하기로 결정했다. 과중한 게임 시나리오에서 전력과 성능을 더욱 최적화하기 위해 CPU 전력 부분을 줄이고 더 많은 전력을 CPU 코어에서 GPU로 재할당하여 모바일 장치에서 최고 수준의 게임 그래픽을 지원할 수 있도록 컴퓨팅 성능을 높였다. 모바일 플랫폼에서 구현되는 풍부한 그래픽 경험 삼성은 프리미엄부터 저가형에 이르는 넓은 범위의 모바일 플랫폼에 콘솔 수준의 게임을 제공한다는 목표를 달성하기 위해 AMD의 RDNATM 아키텍처를 기반으로 하는 Xclipse GPU를 개발해왔고, 이를 통해 모바일 환경에 레이 트레이싱(ray tracing) 기능을 최초로 도입했다. 카티비안 부사장은 엑시노스 레퍼런스 플랫폼에서 구현된 모바일 레이 트레이싱 기능 데모 영상을 통해 그림자, 반사 등과 같은 여러 개의 세부 레이 트레이싱 기능들이 동시에 활성화된 모습을 보여주었다. 생성형 AI 시대를 위한 첨단 NPU 삼성의 최신 NPU 솔루션은 메모리 병목 현상을 제거하기 위해 아키텍처를 변경하고 트랜스포머 기반 모델에서 자주 사용되는 비선형 연산의 활용도를 크게 높일 것이다. 이러한 아키텍처 변경의 결과로 MobileBERT¹ 벤치마크 성능은 이전 세대에 비해 3배 향상되었다.

확장 가능한 중앙 컴퓨팅을 위한 삼성의 오토 SoC

자동차는 현재 전화가 스마트폰으로 진화한 것과 유사하게 급격하게 변화하고 있다. 실제로 현대의 자동차는 단순한 이동 수단을 넘어 생성형 AI와 같은 광범위한 컴퓨팅 기능의 집합체가 되었다. 이러한 현실을 배경으로 삼성전자 AP² 소프트웨어 개발팀 방지훈 상무는 삼성 오토 SoC 솔루션과 확장 가능한 중앙 컴퓨팅 애플리케이션에 대한 세션을 진행했다. 자동차 아키텍처를 중앙 컴퓨팅으로 전환 방 상무는 차량이 분산 아키텍처에서 도메인 중앙 집중식 시스템으로, 그리고 이제는 통합 중앙 컴퓨팅으로 발전해 온 과정에 대해 설명했다. 이러한 변화로 인해 효율성이 높아지고 간소화되었지만 고도로 연결된 아키텍처의 특성으로 인해 안전과 같은 영역에 대한 새로운 기술적 고려사항이 발생했다. 이에 완벽하게 대응하기 위해 차세대 삼성 오토 SoC는 중앙 컴퓨팅을 지향하며 안전성, 보안, 확장성을 강화한 기능을 제공하는 것을 목표로 하고 있다. 강화된 안전 및 보안 안전에 대한 삼성의 확고한 의지를 보여주는 차세대 오토 SoC의 세이프티 아일랜드(safety island)는 ASIL-D를 준수하며, 호스트 CPU와 별도로 작동하여 다른 SoC의 상태를 모니터링할 예정이다. 이외의 부분은 ASPICE, ISO 26262 및 FMEA와 같은 자동차 표준을 통해 ASIL-B를 준수하도록 제작되었다. 사이버 보안 또한 점점 더 중요한 요소로 떠오르고 있기 때문에, 삼성의 오토 SoC는 암호화 엔진이 내장된 기본 보안 프로세서와 StrongBOX 하드웨어 블록을 갖추고 있다. 또한 삼성은 사용자 정보를 보호하는 자체 운영체제인 엑시노스TEE를 개발했으며 이미 EAL2 인증을 받았다. 향후 보안 소프트웨어의 모든 개발은 ISO 21434 표준을 따를 예정이다. 한 층 높아진 확장성 확장성 측면에서 삼성은 각 자동차 도메인의 증가하는 소프트웨어 요구 사항을 충족하기 위해 독자적으로 Type-1 하이퍼바이저를 개발했다. 이 하이퍼바이저는 성능 저하 없이 다양한 OS를 가상화 할 수 있으며 업계 표준 API인 VirtIO를 지원한다. 또한 특정 소프트웨어에 국한되지 않고 서드파티 하이퍼바이저를 지원한다. 중앙 컴퓨팅에 대한 수요가 기하급수적으로 증가함에 따라 하드웨어와 소프트웨어의 확장성이 더욱 중요해질 것이다. 따라서 삼성의 핵심 솔루션 중 하나는 소프트웨어를 수정하지 않고도 컴퓨팅 용량을 두 배로 늘리기 위해 두 SoC 간의 직접 연결(die-to-die)을 사용하는 것이다. 또한 오토 SoC는 OEM의 시스템에 따라 패키지 간 멀티 SoC 연결을 위해 PCIe 또는 이더넷 사용을 지원한다. AI 통합, 소프트웨어 정의 차량의 미래를 위한 준비 앞으로 운전자는 최대 150억 개의 파라미터를 실시간으로 작동할 수 있는 삼성의 전용 AI 가속기를 통해 대형 언어 모델(LLM)에 기반한 AI 비서와 원활하게 상호 작용할 수 있게 될 것이다. 또한 자동차 기술이 더욱 발전할 수밖에 없는 상황에서 삼성의 오토 SoC는 각 영역의 여러 이기종 OS를 동시에 실행할 수 있어 획기적인 미래를 준비할 수 있다. 방 상무는 "삼성 오토 SoC의 중앙 컴퓨팅 기능 덕분에 한때 상상 속에만 존재했던 것들이 곧 현실이 될 것"이라며 미래에 대한 밝은 전망을 드러냈다.

현실 세계의 멀티미디어 애플리케이션

더욱 강력한 SoC와 센서 기능이 개발됨에 따라 최신 멀티미디어 애플리케이션은 점점 더 스마트해지고 높은 연산 능력을 요구하고 있다. 이러한 요건을 충족하고 인간의 행동을 완벽하게 모방한다는 궁극적인 목표를 달성하기 위해 삼성은 저지연과 저전력을 두 가지 핵심 발전 분야로 선정했다. 삼성전자 멀티미디어 개발팀 홍기준 상무는 “현실 세계의 멀티미디어 애플리케이션”이라는 제목의 세션에서 이 두 가지 핵심 분야를 어떻게 발전시켜왔는지 설명했다. 상황 인지 컴퓨팅 다양한 기능이 탑재된 최신 디바이스 중 상당수는 상황 인지 컴퓨팅³으로 구현되는 기능을 제공한다. 상황 인지는 적외선 센싱에서 시작되었지만, 최신 센서는 활용할 수 있는 새로운 감각 데이터의 세계를 열어 주었다. 이 개념은 센서를 통해 데이터를 수집하고, 원시 데이터를 처리하고, 처리된 데이터를 활용하여 사용자에게 더 나은 서비스를 제공하는 세 단계로 세분화할 수 있다. 모든 원시 데이터를 처리하려면 많은 연산이 필요하므로 전력 소비가 증가한다. 바로 이 부분에서 삼성의 기술적 혁신이 빛을 발한다. 삼성은 전용 도메인별 시스템을 포함하는 분산 아키텍처를 사용하는데, 이는 더 간단하면서 특수한 연산 부하를 처리하기 때문에 기본적으로 효율성이 높다. 이 시스템은 전력 소비가 적고 처리 지연 시간이 짧다. 저전력 및 저지연으로 새로운 가능성을 열다 이에 따라 시스템은 원시 데이터에서 상황 정보를 효율적으로 생성할 수 있으며, 애플리케이션은 이를 활용하여 동작을 조정할 수 있다. 모바일 카메라가 기존 디지털 카메라를 따라잡을 수 있도록 하는 적응형 기술이 주목을 받고 있다. 삼성의 전용 시스템은 로컬 모션 추정 및 인스턴스 분할을 통해 이미지 및 비디오 품질을 개선하는 상황 인식 처리 기능을 제공하며, 일반 프로세서보다 최대 5배 작은 크기로 이를 수행한다. 삼성의 최적화된 시스템을 통해 상시 작동 카메라는 이제 최소 30uW의 전력을 소비하므로 배터리 재충전 없이도 일주일 내내 비디오를 스트리밍할 수 있다. 저전력은 모바일 디바이스에 항상 필수적인 요소였지만, 혼합 현실 솔루션에 대한 수요가 급증하면서 지연 시간이 짧고 증강 오디오/비디오 데이터의 정확한 동기화에 대한 관심이 더욱 높아지고 있다. 현재 시스템은 약 33ms의 지연 시간이 발생할 수 있지만, 삼성은 최근 아키텍처를 수정하여 연속적인 하드웨어 파이프라인과 하드웨어/소프트웨어가 최적화된 시스템을 갖춤으로써 사용자의 움직임을 인지 및 반영하여 출력하는 시점까지의 지연 시간을 10ms 미만으로 낮췄다. 이외에도 제스처 인식, 시선 추적 및 공간 오디오에서도 개선이 이루어졌다. 미래의 멀티미디어 기술 인간 감지 시스템의 다음 단계는 자연스럽고 정확하게 지각을 재현하는 것이다. 시각과 청각의 경우, 사용자의 주변 환경을 관찰, 감지 및 분류하는 상시 작동 카메라와 마이크가 필요하다. 이러한 능동적인 상황 인식을 통해 애플리케이션은 사람이 시청각 자극에 반응하는 것처럼 동작을 조정한다. 예를 들어 오디오 시스템은 다양한 센서의 데이터를 3D로 융합하는 3D 형상 추정을 통해 실제 음향장을 재구성하여 지능적이고 몰입감 있는 음향 경험을 제공하게 될 것이다. 멀티미디어의 기술의 발전으로 휴머노이드가 인간처럼 자연스럽게 감지하고, 인지하고, 행동하는 미래에 더 가까워지고 있다. 홍 상무는 "이러한 미래를 실현하기 위해서는 아직 현실과의 기술적인 격차를 좁혀야 한다. 하지만 우리 시스템 기술로 몰입감 넘치고 인터랙티브한 미래를 구현할 것”이라고 확신했다.

---

_{¹ MobileBERT: 트랜스포머 모델의 모바일 버전 ² AP: Application Processor ³ 컴퓨팅에서 상황 인지는 시스템/구성 요소가 환경에 대한 정보를 수집하고 그에 따라 동작을 조정하는 기능을 말함}