[Exynosのすべて] ② アップグレードされたモバイル体験：スマートフォンのCPUとNPUの重要な役割

毎年発売されるスマートフォン、タブレット、PCの最新機能には目を見張るばかりです。はじめてスマートフォンが開発されて以来、数々の技術革新があり、現代のスマートフォンは以前のものとはまったく違うものになったといえます。最近では、私たちが手にしているスマートデバイスは、PCとかわらないほど多くのタスクを実行できます。 スマートデバイスの性能を決定するキーテクノロジーは、モバイルプロセッサです。このモバイルプロセッサが、最新のモバイルデバイスでマルチメディアの計算と操作を実行するシステム半導体です。ほとんどの場合、これはシステムオンチップ(SoC)の形で提供されます。SoCではさまざまな半導体技術が使用されており、中央処理装置(CPU)、グラフィック処理装置(GPU)、およびモデムなどのシステムブロックが1つのチップに組み込まれています。簡単に言えば、SoCはスマートフォンやタブレットを操作するすべての重要なパーツを組み合わせたチップです。 サムスンニュースルームは、「スマートフォンの脳」といわれるExynos・モバイル・プロセッサの7つのIPを支える開発リーダーらと会談しました。サムスンニュースルームは、このシリーズの3つのストーリーを通して、スマートフォンに競争力を与えるIPの種類ごとの役割と特徴、および今後の開発の方向性を紹介します。第1話ではGPUとISP、第2話ではCPUとNPU、そして第3話ではモデム、接続、iSEについて説明します。 コンピューターを超える頭脳を搭載：CPU向けとの連携強化

第2回では、サムスンニュースルームがサムスン電子のプロジェクトリーダー2人と対談し、モバイルデバイスのCPUとNPUの役割について理解を深めました。コンピューターの中央処理装置(CPU)は、ヒトの大脳とよく比較され、多くの役割を担う脳の最大部分です。同様に、CPUはコンピューターの4つの主な機能であるメモリ、デコード、操作、制御を処理する最も重要なユニットです。CPUはPCの全体的なパフォーマンスを決定する要因です。同様に、モバイルCPUはオペレーティングシステム(OS)上ですべてのソフトウェアを実行し他のハードウェア周辺機器を制御して、最適レベルでスマートフォンを動作させます。 CPUのパフォーマンスは、クロック速度¹、IPC²、コア数など、さまざまな要因で決まります。³従来の携帯電話はシンプルなパイプライン構造を持つシングルコアCPIで駆動していました。そのため、並列処理に限界があり最大周波数も数百MHz程度でした。しかし、現在のスマートフォンのCPUはスーパースカラー⁴の構造になっているのでさまざまなコマンドや命令を並列処理できます。さらに3GHzかつ毎秒30億サイクルで実行でき、8つ以上のマルチコア構造を備えています。モバイルCPUは、デスクトップCPUを超えるパフォーマンスを実現するマイクロアーキテクチャを備えています。 ExynosのCPUは、ビッグコアからビッグリトル、そしてビッグミッドリトル構造へと進化し、サイズ小型化し消費電力も低く抑えています。ビッグリトル構造は2種類のコア(大きいコアと小さいコア)を、タスクに応じ動的に切り替えてパフォーマンスを最大化したり電力効率を最大化する処理アーキテクチャの概念です。たとえばテキストメッセージと3Dゲームプレイに必要なCPUパフォーマンスは異なります。よって、テキストを送信する場合にプロセッサーは高性能コアの代わりに、より小型で電力効率の高いコアを使用します。

「CPUは、SoCを含むすべてのシステムの競争力を決定します。これは影響力のある高度な半導体技術の開発における最優先事項です。」と、ExynosのCPUに関連するすべてのタスクを担当するWookyeong Jeong氏(SoC設計チーム2のプロジェクトリーダー)はいいます。Jeong氏は、サムスン電子に入社してから20年以上CPU分野の研究をしています。 Jeong氏は「限られた電力バジェットで高性能を達成することが重要です」といいます。「さまざまな状況で最大効率を達成するには、大型、中型、小型のさまざまな種類のCPUコアを適切に組み合わせて動作させることが重要です。」 ExynosのCPUは、アクティブ化されたコアの組み合わせを最適化し、ゲームプレイやモバイルデバイスのカメラの使用など、高いパフォーマンスが必要な状況で環境において最高のユーザー体験を提供します。

サムスン電子は、Arm(半導体設計会社)のIPに基づき、CPUの性能を一段と高めています。Jeong氏は、チーム開発者の具体的なタスクについて、以下のようにチームの役割と責任について説明しました。 「弊社はCPUのパフォーマンス目標を決定し、CPU IPを取得し、パフォーマンスを予測してレビュー、検証して量産し、次のステップに進む前にデバッグ⁵を実行します。CPUのパフォーマンス向上のための開発作業全般を担当しています」とJeong氏はいいます。「システムLSI事業部は、ArmからRTL CPU設計を取り入れ最適な半導体チップを作る責任があります」とJeong氏はいいます。「私たちのチームはCPUのパフォーマンスを最大化するために適切なメモリサブシステムなど、CPU周辺回路の設計と作成も担当しています。」 「弊社にはチップレベルだけでなく、デバイスレベルでもソフトウェアを最適化することでArmのCPUに採用されてモバイル業界で最高のCPUメーカーになるというビジョンがあります。E2E⁶のトータルソリューションプロバイダーを目指しています。」 と、会社の今後の発展方向についてJeong氏はいいます。「CPU開発者は、この目標達成のため、開発の初期段階から1つのチームとして、Arm、デバイスメーカー、サムスンファウンドリーなどと緊密に協力してきました。さらに、パフォーマンスをより向上させる高度なパッケージング技術など、パフォーマンス向上へのさまざまな方法を模索しています」(Jeong氏)。

「ARやメタバースの出現により、CPU, GPU, NPUなどすべてのプロセッサを適切に活用して、SoCレベルでの包括的な機械学習処理を行うことが重要な競争力をもたらします。機械学習処理においてもCPUのパフォーマンスを強化し、競争力を高めることに注力する予定です」(Jeong氏)。 リアルで想像力豊かなテクノロジー：6世代にわたる独自技術のNPUの進化

NPUは、ディープラーニング⁷アルゴリズムの演算用に最適化されたプロセッサです。ヒトのニューラルネットワークと同程度に高速、効率的に大量のデータを処理することができます。主にAIの演算や計算に使用されます。また、すでにデバイスに一般的に組み込まれています。たとえば、NPUが搭載されたことでスマートフォンのカメラは、フレーム内のオブジェクト、環境、人物を認識し、焦点を合わせることができます。食べ物の写真ではフードフィルターモードを自動的にオンにしたり写真の中の不要な被写体を削除することもできます。

GPUは、NPUが存在しなかった時は主にAI演算を行っていましたが、ハードウェアの構造上の違いにより計算効率⁸が高くありませんでした。現在NPUは、主にAI計算を行ないモバイルデバイスでもより効率的にデータを処理できます。並列データコンピューティング用に最適化されているのでAIベースのアプリケーションを低消費電力で、より高速に実行できます。

ExynosのNPUの開発は2016年に開始されました。NPUを搭載した最初のSoCは2019年に発売されたGalaxy S10に搭載されたExynos 9820です。Suknam Kwon氏(プロジェクトリーダー)は、「6年前に最初のタスクフォースが結成されたときは20人ほどだったチームが、海外の研究機関メンバーを含めると10倍に増えました」といいます。Kwon氏は、SoCのハードウェアを設計しNPUの第2世代から開発を担当しています。「NPUは今、非常に注目されている分野ですが当時はなじみがなく新しいもので、海外のビデオや大学の講義から学ぶ必要がありました。」 これまで画像に基づくオブジェクトの検出などNPUのアプリケーションはほとんどありませんでした。しかし、AIの時代には大量計算を必要とする高性能なIPの市場需要が高まっています。これはカメラの画質および音声サービスの改善などのタスクの実行に使用できます。さらにIPパフォーマンスの向上につれサイズと消費電力が増加するため、最も効率的なアーキテクチャを決定することが重要です。

NPUがより高速になるにつれて物体認識速度や写真補正の性能が向上します。最新のExynosに搭載されているNPUのパフォーマンスは前世代に比べて2倍に向上しています。SoC設計チームのNPUテクノロジーに関する専門知識とノウハウは6つの製品世代のNPUを独自に開発し、他の追随を許していません。「ML Per、電力効率、サイズなどのベンチマークの利点によりExynosのNPUは非常に競争力のあるIPソリューションです」とKwon氏はいいます。「NPUはパフォーマンス用のアーキテクチャの最適化と電力効率を改善することでExynosプロセッサに競争力のある価値を提供します」(Kwon氏)。

NPUを活用した技術は今後も進化し続けます。Kwon氏は「サーバーを経由せず、スマートフォンでAI演算を行うオンデバイスAIは機密個人情報が漏洩するリスクが少ないため、より広く利用されることになるでしょう」といいます。「よって、モバイルNPUのパフォーマンスのさらなる向上が必要です。現在は1つのNPUで多くの演算を行っていますが、アプリケーションプログラムごとに特化したAIアルゴリズムの運用の需要が増えると予想しています。そのため、各ドメインに特化したNPUを開発することも重要になります」としました。 Kwon氏は自動運転について、業界でNPUが果たす役割についてつぎのように説明します。「近い将来、先進運転支援システム(ADAS)が現実となるでしょう。」、「大量データをリアルタイムで使用し、自動運転アルゴリズムを実行できるハードウェアが必要です。これを実現するために、より高性能なNPUが必要になるのでサムスン電子では市場の要求を満たす自動運転デバイスの強力な機能を備えたNPUを準備しています。」 Kwon氏はインタビューの最後に開発中に起こった最も重要な瞬間について説明しました。「Exynosには毎年、強化された高性能のNPUが搭載されており、これは非常に重要なことです」、「将来的にも市場において重要なIPとなり続けるでしょう。NPUの開発が私自身と会社、両方の成長につながり、さらには国の全体的な競争力に貢献したという事実に誇りを持っています」、「思い描いたことが現実になる最高のフィールドです」としました。 _{※ 表示されている全ての画像は説明のみを目的としており、実際の製品または製品とともに撮影された画像とは異なる場合があります。すべての画像はデジタルで編集、修正、補正されています。}

---

_{¹ クロック：演算用の0または1の電気振動を連続的に発生させます。Hzで表され、クロックの数値が高いほど処理速度が速いことを意味します。 ² IPC(1サイクルあたりの命令)：クロックごとに処理される命令。1つのコマンドまたは命令の処理に必要なクロックを計測します。IPCは、CPUの動作効率を評価する単位です。 ³ コア：CPUの物理処理回路の主な部分。コア数が多いほど、複数のアクションを同時に実行しやすくなります。シングルコアはコアが1つ、デュアルコアは2つ、クアッドコアは4つあるということです。 ⁴ スーパースカラー：パイプラインと並列処理の利点を組み合わせたアーキテクチャで、複数パイプラインからの命令を並列処理できるようになります。複数の命令を同時に実行できるため、待ち状態が不要で、処理速度が速くなります。 ⁵ デバッグ：設計したプログラムが正しいかどうかを確認するプロセスにより、プログラムのエラーを特定して修正します。 ⁶ エンドツーエンド ⁷ ディープラーニング：機械がデータを利用してヒトと同じように学習、推測、推論できるようにするテクノロジー。 ⁸ モバイルSoCでは、効率性とは消費電力が少ない、または速度が速いことを意味します。}