[Exynosのすべて]①GPU・ISP開発リーダーとの対話

私たちは皆、最新のスマートフォン、タブレット、PCでできることに驚いています。最初のスマートフォンが開発されて以来、数々の技術革新があり、現代のスマートフォンは以前のものとはまったく違ったものになっています。私たちがいま手にしているスマートデバイスは、ほとんどPCと同じくらい多くのタスクを実行できます。 スマートデバイスの性能を決定するキーテクノロジーは、モバイルプロセッサです。このモバイルプロセッサが、最新のモバイルデバイスでマルチメディアの計算と操作を担当するシステム半導体です。ほとんどの場合、これはシステムオンチップ(SoC)の形で提供されます。SoCではさまざまな半導体技術が使用されており、中央処理装置(CPU)、グラフィック処理装置(GPU)、およびモデムなどのシステムブロックが1つのチップに組み込まれています。簡単に言えば、SoCはスマートフォンやタブレットを操作するすべての重要なパーツを組み合わせたチップなのです。 サムスンニュースルームは、「スマートフォンの脳」といわれるExynos・モバイル・プロセッサの7つのIPを支える開発リーダーに話を聞きました。サムスンニュースルームは、3つのストーリーをシリーズとして、スマートフォンに競争力を与えるIPの種類ごとの役割と特徴、および今後の開発の方向性を紹介します。第1話はGPUとISP、第2話はCPUとNPU、そして第3話はモデム、接続、iSEについてご説明します。 Exynos 技術集約型システム半導体

連載の第1回目では、Exynos・モバイル・プロセッサでグラフィック処理装置(GPU)と画像信号プロセッサ(ISP)の重要性をご紹介します。サムスンニュースルームは、7人のIP開発リーダーとの会談前に、まずシステムLSI事業部でシステムオンチップ(SoC)設計を監督するSoC開発責任者兼上級副社長のMingoo Kimに話を聞きました。 まず、さまざまな機能がすべて1つのチップに組み込まれているSoCのコンセプトの背後にある概念を説明しました。「チップを分割すると、消費電力の管理が難しくなります」と述べました。「各機能が個々に電力を消費すると、バッテリー効率も低下します。さらに、帯域幅の制限と転送時間の遅延はチップ間のデータ転送にも影響し、それはパフォーマンスの低下につながる可能性があります」 スマートフォンはデスクトップパソコンのように継続的に電力が供給されているわけではないので、最小限の消費電力はスマートフォンにはとても重要です。 「SoCは包括的な電力制御により、高効率を実現しています。また1つのチップなので、スマートフォン内のスペースも少なくて済みます」とし、「すべての機能が1つのチップで実行されれば、性能は大幅に改善されます」 現代の携帯電話は単なる電話やメールの送受信だけでなく、動画の撮影、モバイルゲーム、金融サービスへのアクセスなど、多数の高度な機能を実行するように進化しています。この親指の爪よりも小さいSoCが、大きな役割を果たし、これを可能にしました。 SoCは今日存在するすべての主要なタイプの情報技術の要約なので、これを「システム半導体の花」と表現しました。「SoCは簡単に働ける分野ではありませんが、エンジニアなら誰もがその一員になりたいと熱望する楽観的な分野でしょう」と述べました。「SoCの役割は、メタバース、自動運転、6Gなど、今後の産業では無限なものとなるでしょう」

サムスン電子は、GPU、NPU、ISP、モデム、RFなどを含む独自のIPの開発を引き続き重視していきます。サムスン電子は、プラットフォーム・ソリューション・カンパニーになるため、チップ設計で新たな一歩を踏み出そうとしています。「SoCにおいてトップの競争力を備え、Exynosが最高のモバイル・プロセッサ・ブランドとして認められるよう目指す」とのことです。「この特集連載を通して、SoCの役割と重要性、Exynosの特徴と利点、同様にその開発の方向性がもっと多くの方々と共有されることを願っています」 モバイルゲームの可能性を拡大する GPUでグラフィック機能を強化

一般に、グラフィック処理は大規模な計算を必要とし、並列に処理される場合(並列処理)は高速で効率的です。ただし、中央処理装置(CPU)の構造は、高速なシリアル処理に特化しています。そのため、CPUでグラフィック処理を行うと、CPUによるこの一定の計算パフォーマンスのために重要な計算が遅れることになります。この一例は、ゲームのプレイ時に見ることができます。ディスプレイでグラフィックが描写されている間、タッチ入力が遅れたためキャラクターが敵を避けられないということが起こり得ます。 これらの問題に対処するために、GPUが開発されました。GPUが導入される前は、CPUがすべてを処理していました。しかし、GPUは頻繁に使用される同様の計算のための別のアクセラレータとして効率を高めるために考案されました。つまり、CPUは汎用電卓のようなものである一方、GPUはグラフィック処理に特化した大規模並列計算機です。GPUはこのように生まれ、グラフィック処理における重要なコンポーネントの1つとなっています。CPUからコマンドを受け取り、オブジェクトの形状、位置、色や質感をモニターに表示します。 Exynos 2200に搭載されたXclipse 920は、サムスン電子が、PCやコンソール向けのGPUなどの半導体製品を専門としている米国を拠点とするグローバル企業、AMDと共同開発した初のモバイルGPUです。「Xclipse」という名前は、Exynosの「X」と「eclipse(イクリプス)」という言葉の組み合わせです。この名前は、モバイルゲームの限界を超え、コンシューマーゲームのレベルでパフォーマンスを実行し、ゲームの新時代の到来を告げるというサムスン電子の目標を表しています。

これに合わせて、サムスン電子は、AMDとコラボレーションし、モバイルデバイス用の電力効率の高いコンソールレベルのGPUを開発しました。AMDのGPUsはPCまたはコンソール向けに特化して設計されているので、モバイル環境に合わせて再設計する必要がありました。具体的に言えば、熱放散の管理に加えて、比較的制限のあるモバイルのメモリ帯域幅に対応するように再設計されました。「モバイルSoCの開発から得た低電力設計の豊富な知識に基づいて、初代の製品で電力効率と小型化の達成に成功することができました」と、GPU開発を監督するモバイルプロセッサ設計のエキスパートである、Sungboem Park(副社長)は述べています。「モバイルデバイスにはゲーミングコンソールのようなファンがないため、熱を最小限に抑えることに重点を置き、またフレームが遅れないようにパフォーマンスを維持しました」 ExynosのGPUの主な役割は、2Dのスマートフォンの画面に3Dの仮想空間の物体を表示することですが、この役割はモバイルデバイスでグラフィックを多用するゲームをプレイする場合に特に重要になります。特に、Xclipse 920は、ハードウェア・アクセラレーションによるレイトレーシング(RT)をサポートする初めてのモバイルGPUです。レイトレーシングは、3Dオブジェクトから反射される光線をシミュレートすることによって、リアルな照明効果を生み出す技術です。ソフトウェアよりはむしろハードウェアにより加速することで、Xclipse 920はリアルタイム計算をより高速に実行することが可能となります。また、可変レートシェーディング(VRS)テクノロジーにより、画面上のオブジェクトの色、影、動きや変数の変化に応じて、GPUの計算量を調整し、GPUの過負荷を軽減します。

ゲームユーザー数が増加し、グラフィックがより詳細になるにつれて、GPUの開発方向はますます重要になってきています。これには、バッテリー消費を抑えながら、パフォーマンス・レベルを高性能コンソールのレベルに引き上げることも含まれます。この2つの重要な領域を改善することによって、ユーザーはコンソール上で体験したようにモバイルデバイスでも高精細なグラフィックを体験できるようになります。「一般に、グラフィック技術に関して言えば、モバイルはコンソールに5年ほど遅れる傾向にありますが、当社はAMDとのコラボレーションによって、最新のコンソール技術をExynos 2200モバイルプロセッサに素早く組み込むことができました。このSoCはGalaxy S22に適用されています」とParkは述べています。「これからもAMDと緊密に連携することにより、RDNAシリーズの他の機能を引き続き実装していく予定です」

「スマートフォンの性能が全体的に向上しているので、消費者が気付くくらいの重要なパフォーマンスエッジを作るのは簡単ではない、というのは事実です」と、モバイルGPUの今後の方向性について問われた時であるとし、「今後、主力のスマートフォンユーザーが最新機種を購入する理由は、おそらくゲームのパフォーマンスによるところとなるでしょう」と述べています。これはつまり、スマートフォンのゲームパフォーマンスを決定するGPUがさらに進化していく可能性が高いということです。 また、ARおよびVRの分野でもモバイルGPUがさらに重要なものになってくるであろうと予測しました。「ARでは、GPUは眼鏡などの軽量機器に搭載される必要があるので、低消費電力設計は非常に重要になります」と述べています。「VR分野では、全体の目に見える仮想世界を即座にレンダリングする必要があるため、パフォーマンス要件はさらに厳しいものとなります。そのため、さまざまな開発要件を満たしながら、また現在よりもはるかに速い速度で、よりリアルな画像を生成する必要があります。そのため、今後モバイルGPUの進歩は極めて重要で、無限の用途があります」と強調しました。 カメラ性能の満足度を高める より自然そして鮮やかな映像を実現するISP

ISPは、イメージセンサーから転送された生データを修正し、フォトや動画をユーザーの好みの形に作成します。また、ISPは光学系とイメージセンサーで構成されるカメラモジュールの潜在的な物理的制限を修正し、赤、緑、青(RGB)の補間やノイズを削除します。さらに、映像の光度の調整、細かい部分の強調などの後処理も行っています。つまり、微調整や後処理を行うことにより、ISPはユーザーにとって最も望ましい写真や動画を生成するのです。

それ以前のスマートフォンモデルでは、ISPは別チップとして搭載されていました。しかし、市場の需要により、やがて埋め込まれたISPが標準になりました。「当初は海外の研究機関と協力し、デジタルカメラに使える高性能なISPを開発しました」と、映像処理分野で20年以上仕事をしてきたマルチメディア開発チームのJongseong Choi(プロジェクトリーダー, PL)は述べています。「その結果、当社の最初の埋め込み用ISPソリューションがGalaxy S4のメインカメラに使用されました」 Exynos・モバイル・プロセッサは、2012年以降、ISPの内部化により、デジタル一眼レフカメラ(DSLR)レベルの性能を実現し、スマートフォンカメラの動画画質の大幅な進化に貢献しています。

高性能なISPがあれば、消費者はより高い動画画質と高速な処理速度を楽しむことができます。「写真は主観的なものであるため、具体的な数字でどのくらいフォトが素晴らしいかを説明するのは難しいですが、自然で鮮明な静止画や動画を作るために、映像評価やディープラーニングを使用するISPチューニング技術など、さまざまな調査研究を行っています」とChoi氏は説明しました。また、ISPは連写時のバーストの速度を決定し、高解像度のフォトや動画の高速処理も担っています。 最新のExynosに搭載された高性能ISPは、最大で2億画素の処理が可能です。最大7つのイメージセンサーをサポートし、最大4つのイメージセンサーからの動画と画像を同時に処理することができます。また、NPUを活用して撮影されるシーンを認識する、シーンセグメンテーション技術を組み込むことで、空、茂み、肌など、要素ごとに異なるパラメータを適用できる機能も搭載しています。AI機能が人物の顔を検出してマークし、顔の座標をもとに動画の光度、フォーカス、色を調整します。

ISPの今後の方向性について質問されると、開発は低消費電力の維持と動画画質の向上に焦点を合わせて進めていく、と回答しました。「イメージセンサーから転送されたデータはISPでリアルタイムに処理されますが、そのデータ量は指数関数的に増加しています」としています。「そのため、データをメモリに書き込んだり、後で読み出したりする時に、かなりの量の電力が消費されます。しかし、ExynosのISPは、一度だけデータをメモリに保存するように設計されており、そのため消費電力を最小限に抑えます」と強調しました。 「動画の時代が予想以上に早く到来し、このため、当社は動画の画質向上に焦点を当てているのです」とし、「特に、暗い低照度環境で撮影した動画でも、動画画質を向上させることで、競争力を高める努力をしています」 _{※ 表示されている全ての画像は説明のみを目的としており、実際の製品または製品とともに撮影された画像とは異なる場合があります。すべての画像はデジタルで編集、修正、補正されています。}