ENSS™: 모바일 AI 그래픽스의 새로운 기준

스마트폰으로 게임을 즐기다 보면 배터리가 빠르게 소모되거나 프레임이 저하되어 중요한 순간을 놓치는 경험을 한 번쯤 하게 된다. 높은 그래픽 품질과 부드러운 프레임은 모두 중요한 요소지만, 모바일 기기는 제한된 전력과 발열 환경에서 동작하기 때문에 두 가지를 동시에 구현하기는 쉽지 않다.

이러한 한계를 해결하기 위해 AI는 그래픽 기술의 새로운 해법으로 주목받고 있다. PC에서는 이미 AI 업스케일링 기술이 수백 개 이상의 게임에 적용되며 높은 활용도를 보이고 있으며, AI는 단순히 해상도를 높이는 기능을 넘어 프레임 생성과 렌더링 최적화까지 그래픽 파이프라인 전반으로 적용 범위를 넓혀가고 있다. 이러한 변화는 이제 모바일 환경으로도 빠르게 확산되고 있다.

이러한 변화에 발맞춰 삼성전자는 모바일 환경에서도 높은 그래픽 품질과 전력 효율을 동시에 구현하기 위한 GPU 기반 AI 그래픽 기술인 ENSS™(엑시노스 뉴럴 슈퍼 샘플링)를 개발했다. ENSS™는 모바일 GPU에서 AI 업스케일링 기술인 뉴럴 슈퍼 샘플링(NSS)과 AI 프레임 생성 기술인 뉴럴 프레임 제너레이션(NFG)을 동시에 구현한 업계 최초의 상용 AI 그래픽 기술이다.

ENSS™란

ENSS™는 GPU가 저해상도로 렌더링한 영상을 AI가 고해상도로 복원하는 NSS와 두 렌더링 프레임 사이에 새로운 중간 프레임을 생성하는 NFG로 구성된다. 지금부터 ENSS™를 구성하는 두 핵심 기술을 자세히 살펴보자.

뉴럴 슈퍼 샘플링 (NSS)

업스케일링 기술은 Spatial, Temporal, AI 기반 방식으로 발전해 왔다. Spatial 업스케일링은 현재 프레임만을 활용해 해상도를 높이는 방식으로, 연산량이 적고 구현이 비교적 간단하지만 디테일 복원 능력이 제한적이다. 이에 현재 프레임뿐 아니라 이전 프레임의 정보와 모션 벡터를 함께 활용하여 Spatial 방식보다 더 높은 화질을 구현할 수 있는 Temporal 업스케일링 방식이 등장했다. 그러나 두 방식 모두 사전에 정의된 알고리즘에 기반해 영상을 복원하기 때문에 빠른 움직임이나 복잡한 장면에서는 고스팅¹, 플리커링², 쉬머링³과 같은 시각적 결함이 발생할 수 있다는 한계가 존재한다. 이러한 한계를 극복하기 위해 AI 기반 업스케일링이 등장했다. 다양한 장면의 특성을 대규모로 학습한 신경망을 활용해 장면별 특성에 맞게 영상을 복원함으로써 더욱 자연스러운 화질을 구현하고 시각적 결함들을 효과적으로 줄일 수 있게 되었다.

NSS는 이러한 AI 기반 업스케일링을 모바일 GPU 환경에 최적화한 기술이다. GPU가 저해상도로 렌더링한 프레임을 AI가 고해상도로 복원함으로써 GPU의 렌더링 부담을 줄이면서도 높은 화질과 전력 효율을 동시에 구현한다. 예를 들어 GPU가 540p 해상도로 렌더링한 영상을 AI가 1080p 수준의 화질로 복원한다. 

NSS의 핵심은 커널 예측 구조를 적용한 초경량 AI 모델이다. 일반적인 초해상도 모델처럼 고해상도 픽셀을 직접 생성하는 대신, 각 픽셀 위치에 필요한 커널을 예측한 뒤 현재 프레임과 이전 프레임의 실제 픽셀 정보를 가중합해 최종 이미지를 복원한다. 이러한 구조는 모델의 파라미터 수와 연산량을 크게 줄이면서도 2배 업스케일링 환경에서 업계 최고 수준의 화질을 구현하도록 설계됐다.

NSS의 처리 흐름은 다섯 단계로 구성된다. 먼저 GPU가 3D 장면을 저해상도로 렌더링하면서 색상, 깊이, 모션 벡터 등 화질 복원에 필요한 정보를 함께 생성한다. AI 모델은 이러한 정보와 이전 프레임을 함께 활용해 손실된 디테일을 복원하고, 화면 깜빡임이나 잔상과 같은 시각적 결함을 최소화한다. 마지막으로 복원된 고해상도 프레임을 출력해 계단 현상을 줄이고 더욱 자연스러운 화질을 구현한다. 

뉴럴 프레임 제너레이션 (NFG)

프레임 생성 기술은 기존 프레임 사이에 새로운 프레임을 생성해 FPS를 높이고 더욱 부드러운 화면을 구현하는 기술이다. 이러한 기술은 기존의 프레임 보간 기술에서 Non-AI 기반 프레임 생성 기술, AI 기반 프레임 생성 기술로 발전해 왔다.

프레임 보간 기술은 GPU가 렌더링한 프레임만을 입력으로 사용하여, 이전 프레임과 현재 프레임 간의 물체 움직임을 추정하고 중간 프레임을 생성하는 기술이다. 구현이 비교적 간단하지만 빠른 움직임이나 복잡한 장면에서는 고스팅과 같은 시각적 결함이 발생할 수 있다는 특징이 존재한다. 이후 등장한 Non-AI 기반 프레임 생성 기술은 게임 엔진이 생성하는 모션 벡터, 컬러 버퍼 등 다양한 렌더링 정보를 활용해 새로운 프레임을 생성하는 기술이다. 기존의 프레임 보간 기술보다 정확한 움직임 정보를 활용할 수 있어 프레임 품질은 향상되지만, 사전에 정의된 알고리즘에 기반해 프레임을 생성하기 때문에 복잡한 장면이나 비선형적인 움직임에서는 여전히 한계가 존재한다. 이와 달리 AI 기반 프레임 생성 기술은 모션 벡터, 컬러 버퍼 등 렌더링 정보를 입력으로 활용하는 신경망을 통해 새로운 프레임을 생성하는 기술이다. 다양한 장면과 움직임 패턴을 대규모로 학습한 AI가 프레임을 생성하기 때문에 기존 알고리즘 기반 방식보다 더욱 자연스러운 화면을 구현하고, 고스팅이나 플리커링과 같은 시각적 결함도 효과적으로 줄일 수 있다.

ENSS™의 NFG는 이러한 AI 기반 프레임 생성 기술을 모바일 GPU에서 실시간으로 구현하도록 설계된 기술이다. GPU가 새로운 프레임을 추가로 렌더링하지 않아도 AI가 두 렌더링 프레임 사이의 새로운 중간 프레임을 생성함으로써 더욱 부드러운 게임 플레이를 구현할 수 있게 되었다. 

NFG의 핵심은 셰이드 플로우 모델이다. 기존 옵티컬 플로우 기반 프레임 생성 기술이 물체의 움직임을 중심으로 모션을 추정했다면, 셰이드 플로우는 광원 변화까지 함께 분석해 그림자와 반사광 등 셰이딩 변화까지 예측한다. 이를 통해 움직임이 크지 않은 장면이나 조명 변화가 많은 환경에서도 더욱 자연스럽고 안정적인 중간 프레임을 생성할 수 있다.

NFG의 처리 과정은 다음과 같다. 이전 프레임과 현재 프레임을 입력으로 받아 셰이딩 변화를 예측하고, 이를 보정 이미지와 결합해 최종 중간 프레임을 생성한다. 생성된 AI 프레임은 매 두 렌더링 프레임 사이에 자연스럽게 삽입되어 화면의 연속성을 높이며, GPU의 추가 렌더링 부담 없이 더욱 부드러운 게임 플레이를 구현한다. 이러한 기술들을 기반으로 NSS와 NFG를 함께 적용한 ENSS™는 동일 전력 조건에서 평균 3배 높은 FPS/W를 기록했다.⁴

Zero Copy 추론 프레임워크

ENSS™가 실시간으로 동작하기 위해서는 AI 모델의 성능뿐 아니라 데이터 전달 과정의 효율도 중요하다. 일반적으로 AI 추론은 렌더링된 프레임을 GPU 메모리에서 AI 연산용 메모리로 복사하는 과정이 필요하며, 이러한 메모리 이동은 지연 시간과 전력 소모를 증가시키는 주요 원인이다.

삼성전자는 이러한 병목을 해결하기 위해 벌칸 기반 AI 추론 프레임워크를 개발했다. 이 프레임워크는 GPU 텍스처를 AI 추론의 입력 버퍼로 직접 활용하는 구조를 적용해 렌더링 결과를 별도의 메모리 복사 없이 AI 모델에 전달한다. 또한 게임 엔진사들의 기본 텍스처 포맷을 그대로 지원함으로써 GPU 메모리 내에서 렌더링 버퍼를 재사용하고, CPU/NPU와 GPU 사이의 불필요한 데이터 전송을 최소화한다.

여기에 AI 모델의 가중치를 셰이더 코드에 직접 포함하는 방식을 적용해 빌드 단계에서 자동으로 통합함으로써 런타임 로딩 오버헤드도 줄였다. 이러한 최적화를 통해 게임 플레이 중에도 AI 처리로 인한 화면 끊김이나 지연을 최소화하면서 안정적인 실시간 그래픽 처리가 가능하다. 이와 함께 개발자는 주요 게임 엔진용 플러그인만 적용하면 ENSS™를 기존 개발 환경에 손쉽게 통합할 수 있다.

차세대 모바일 AI 그래픽스를 향한 여정

모바일 그래픽 기술의 경쟁력은 단순히 GPU 성능을 높이는 것을 넘어, AI를 그래픽 파이프라인에 얼마나 효율적으로 통합하느냐에 달려 있다. 

ENSS™는 AI 업스케일링과 AI 프레임 생성을 하나의 모바일 GPU에서 실시간으로 구현할 뿐만 아니라, 개발자가 쉽게 활용할 수 있는 AI 추론 프레임워크까지 함께 제공함으로써 모바일 AI 그래픽스의 새로운 방향을 제시한다. 앞으로도 삼성전자는 하드웨어와 소프트웨어를 아우르는 AI 그래픽 기술을 지속적으로 고도화하며, 차세대 모바일 AI 그래픽스의 가능성을 넓혀갈 것이다.