[Tech Day 2022] ハイパーインテリジェンス：AIと未来体験

サムスン電子のデバイスはインテリジェンスに改良されると同時に高速化され、大量のデータを処理します。人工知能(AI)ソリューションの開発により使用するデバイスの能力とデバイスとの付き合い方が向上し続けます。そしてサムスン電子はそのExynosプロセッサで統合のためのAIソリューションの開発をリードしています。さまざまなシステムLSI関連技術に対する最新の技術革新を共有するサムスンテックデー2022イベントで、サムスン電子はExynosプロセッサに対するAIソリューション開発の最新情報をお伝えしました。 NPUの重要性 アドバンストAP開発チームのバイスプレジデントであるParkはニューラルプロセッシングユニット(NPU)開発の概要でセッションを開始しました。モバイルデバイスが動画、音声、位置情報サービスと測位を通じて大量の個人データを受け取ることで、未来のデバイスを用いてより多くのセンサーを統合すれば収集しているデータの品質が向上します。しかし収集したデータは、有用な情報を抽出して分析する賢さがデバイスにあるときのみ、所有者に価値を提供します。 「NPUとしても知られるオンデバイスAIアクセレレーターは、プライバシーを保ちながらオンデバイスのインテリジェンスがリアルタイムに適用される主要IPです。現在のNPUの能力と効率で、モバイルデバイスでの数十のAI関連アプリケーションがすでに動作していることが確認されています」とParkは話しました。 ExynosプロセッサでのNPUの進化 2019年にサムスン電子はExynosで、CPUとGPUよりも効率が向上した、最初のNPU設計を公表しました。最初の製品からサムスン電子は面積効率と電力効率の両方を改善するための研究を行っています。各世代ごとに不要な計算を削減するよう改善することで電力効率の改善に役立っています。

2022年初めに発売された最新世代の製品には、以下のとおり3つの新しい主要機能があります：

• スキャッターギャザーはメモリーのボトルネックを防止しALU(演算論理ユニット)への効率的なデータ供給を行うために役立ちます。
• 極限低電力モードは常時オンシナリオをサポートするためにNPUがDRAMなしで動作することを可能にします。
• 複数有効桁数ALUは、単一のALUを使用してより優れた効率と柔軟性を達成するために、既存のINT8とINT4サポートに加えてFP16(半精度浮動小数点数フォーマット)のサポートを行います。

NPU技術を進歩させる 「NPU技術の進歩は3つの異なったレベルで継続すると考えています。最初のレベルはIPレベルでの効率の強化が関係します。1つのアプローチは大量の数のALUにデータを確実に届け十分に利用されるようにすることです。もう1つの方法は計算密度を増加させることを通じてより多くのALUを利用可能にすることです。ビット精度の最適化と未使用ブロックのゲート利用の改良による作業削減も効果があります」とParkは説明しました。 現在のモバイルデバイスの電力限界はすぐにプロセッサー技術でサポートされる可能な限り低い電圧で動作するIPをサポートするでしょう。このことにより性能向上を効率向上に変換することは困難になります。これがNPU技術向上のために他の方法が必要になる理由です。 「2番目のレベルはシステム全体の電力効率が関係します。NPU効率の向上により、システムの他のコンポーネントが著しい量の電力を使っていることがわかるようになります。今まで無視されてきた他のコンポーネントはCPU、ISP(画像信号プロセッサ)、NOC(ネットワークオンチップ)、DRAM、電力管理ICです。他のIPでの消費電力は推論率と一般的に比例し、これらのIPがNPUと同じ比率で向上しなければNPUで割り当て可能な電力は時間とともに減少します。IP間のデータ移動を最小化しながら、より効率的なコアへのCPUタスクのオフロードを増やすことで、このレベルでの改善を推進するための方法の一部となります」とParkは話しました。

3番目のレベルは異なった目的に対して専用の複数NPUを専用化または構築することです。これにより単一NPUアーキテクチャで複数のアプリケーションを効率的に実行するという課題が解決します。各用途に対して別々のNPUを割り当て、各用途専用のIPに組み込むという極端な方法を取ることもできます。たとえば、ISP、GPU、MFC、(マルチフォーマットcodec)、オーディオなどの各IPに対して独立したNPUです。専門化はチップレベル面積を犠牲にしてより高い電力効率をサポートします。この要求についてサムスン電子は、コスト問題への対処のためにマルチダイソリューションの使用が始まると考えています。 「未来においては、広範囲の処理や収集したセンサーデータで極限の電力効率がみられるでしょう。この能力が準備完了になったときに初めてARなどの用途が完全に現実化します。ARはモバイルよりも多くのセンサーがあり、より多くのデータを収集し、バッテリーサイズの制限から電力効率が悪化します。しかし、これは個人専用の体験をより実現する場所です。サムスン電子のNPUソリューションは必要とされるハイパーインテリジェンスを実現し、Exynosプロセッサは利用者個人の生活の中心となると考えています」とParkは話しました。 マルチメディア技術 マルチメディア開発チームのバイスプレジデント、Ki-Joon Hong(常務)はハイパーインテリジェンス向けマルチメディアコア技術とこの技術の向かう方向に焦点を当ててセッションを行いました。サムスン電子は、人間と同等のインテリジェンスを持つ未来のマルチメディアシステムまたは機械に使用するためのSoC(システムオンチップ)のコアブレインを開発しています。このデバイスはカメラ、マイク、スピーカーを使用して、視界と音声についての人間の頭脳活動を模倣する感覚系を生成します。この最終目的は3D画像と音声を使用してリアル感のある仮想世界を作ることです。この世界はAR、VR、自動運転などの使用事例とロボットに対するマルチメディアコアにより生成されます。 仮想処理機能の開発 「人間の視覚に対する脳活動を模倣する視覚処理の開発を支援するため、サムスン電子は計算写真学と高品質画像システムを使用します。スマートマルチフレーム処理とディープラーニングベースの動作推定で高品質画像と動画の再現が可能となります。ディープラーニング技術を統合したカメラシステムは記録の一生を保存する人間の脳の能力を再現します」とHongは説明しました。

サムスン電子は物体と物体に関するその他の詳細を認識できるコンテンツ意識型ISPソリューションを開発しています。ISPチェーンでの適応性画素処理を通じて領域が認識されセグメント化されます。このソリューションは高解像度動画の録画など、より複雑なシナリオで使用できます。さらに、物体検出ソリューションはすでにさまざまな用途で使用されています。モバイルプロセッサー内蔵のNPUとGPUの計算能力はコンピュータービジョンとディープラーニングアルゴリズムでの大きな発展を可能にします。 「人間の脳は物体とジェスチャーを絶えず検知していて、その反応として適切な行動を捉えます。広い意味で、人間とコンピューターは感覚での入力に同様な方法で相互作用します。自動運転で使用するためのロボットビジョンシステムにこのようなプロセスを実装することはこの接続性をもたらすための最終ステップとなるでしょう。拡張現実ではロボットシステムと未来のスマートカー技術、そしておそらくAIビジュアルシステムは未来のすべてのマルチメディア技術革新に対して中心となるでしょう」とHongは話しました。 AIオーディオソリューションの作成 Hongは機械が人間と同様に聞いて話すようになるサムスン電子のAIベースオーディオ技術についても紹介しました。「音声は話すことを通じて情報を送り、聞くことにより受け取る、最も単純な形のコミュニケーションです。機械学習ベースのスピーチ強化アルゴリズムとスピーチ認識技術は電話を介しての会話を明瞭にし自然な音にすることに役立ちます。また、人間のように話す機械とのコミュニケーションも可能にします」と、Hongは語りました。 音声の消費は映画で使用されるような複数観客を対象にしたものから個人や選別されたユーザーのグループを対象としたもっと親密な体験に移行しています。「無線イヤホンなどの用途に対する専用SoCはアクティブノイズキャンセリングなどの豊かな音楽体験と機能をもたらし、ユーザー自身の個人的音響スペースと体験を生成できるようにします。次の大きなステップはモバイルデバイスで実生活と区別のつかない音響環境を生成することだと考えています」とHongは話しました。 SoCとAIソリューションを組み合わせる このような、技術に命を吹き込むための課題は、すべての高度な技術を1つの箱に入れる方法を見つけることです。サムスン電子には大量のデータで複雑なアルゴリズムを処理するために十分な能力を持つ強力な計算ユニットがあり、そしてそのSoCは接続されたセンサーで処理するための低遅延度と低電力を供給することができます。これらの技術をAIソリューションと組み合わせることによりExynosプロセッサでわくわくする新しいマルチメディア体験が生まれます。