[System LSI Tech Day 2023] ハイパーインテリジェンス：AI時代にハイパーインテリジェンスを実現するサムスン電子システムLSIの未来技術

生成AI（人工知能）と様々な先端アプリケーションの登場により、効率性やスケーラビリティ、低電力を備えた、よりスマートで強力なコンピューティングが求められている。これを受け、サムスン電子のシステムLSIが開催した Tech Day 2023ではハイパーインテリジェンスが主なテーマとなっており、オンデバイスコンピューティング技術、マルチメディアアプリケーション、サムスンオートSoC（System-on-Chips）の観点で3講演が行われた。

オンデバイスコンピューティング技術

最初のセッションである「オンデバイスコンピューティング技術」では、サムスンオースティン研究センター及び先端コンピューティング研究所上席副社長のベニー・カティビアン（Benny Katibian）が発表を行った。カティビアンは、サムスンのシステムLSIがオンデバイスコンピューティング機能をモバイル環境に導入するため、3つのバックボーンIPを開発した方法について説明した。 最適化された4クラスタ構造のCPU 3つのバックボーンIPのうち、1つはCPUであり、これまでは時間に敏感なアプリケーションのためのハイエンド（high-end）クラスタ、バックグラウンドアプリケーション用のローエンド（low-end）クラスタ、中間クラスタの3つのクラスタで構成されていた。サムスンは、より効率的にCPUを運用するため、中間クラスタをミッドハイ（mid-high）とミッドロー（mid-low）の2層に分け、ミッドハイ層はゲームのようなコンピューティングに集約されるアプリケーションをターゲットにすることにした。負荷の高いゲームをプレイする際は、電力とパフォーマンスをさらに最適化するため、CPUの電力部分を減らし、より多くの電力をCPUコアからGPUに再割り当てし、モバイルデバイスで最高レベルのゲームグラフィックをサポートできるようにコンピューティングのパフォーマンスを向上させた。 コンソールゲームをモバイルプラットフォームに実装 サムスンは、プレミアムから低価格まで対応しているモバイルプラットフォームにコンソールレベルのゲームを提供するという目標を達成するため、AMD RDNATMアーキテクチャベースのXclipse GPUの開発に乗り出した。この開発を通じ、サムスンは、モバイル環境にレイトレーシング（ray tracing）機能を初めて導入した。カティビアンは、Exynosのリファレンスプラットフォームで、モバイルレイトレーシング機能のデモビデオを通じ、影や反射、グローバルイルミネーション（GI）などのすべてのレイトレーシング機能が同時に活性化されていることを披露した。 生成AI時代に向けた先端NPU 一方、NPUは、生成AIソリューションに採用される予定だ。サムスンの最新のNPUソリューションは、アーキテクチャを変更してメモリのボトルネックを解消し、トランスフォーマーベースのモデルでよく使われている非線形演算の使用率を大幅に向上させていくと見られている。このようなアーキテクチャの変更の結果として、MobileBERT1ベンチマークのパフォーマンスは前世代に比べ、3倍向上している。

サムスンの車載向けSoCでスケーラビリティを実現した中央コンピューティング

電話がスマートフォンに進化したのと同様に、現在自動車は、急激に変化している。実際に最近の自動車は、単なる移動手段を超え、生成AIのような広範なコンピューティング機能の集合体となっている。 これを背景に、APソフトウェア開発担当のパン・ジフン(常務)は、サムスンの車載向け(以下、オート)SoCソリューションとスケーラブルな中央コンピューティングアプリケーションへの対応について発表を行なった。 自動車のアーキテクチャを中央コンピューティングに移行 パンは、車両が分散アーキテクチャからドメイン集中型システムに、そして、今や統合中央コンピューティングへと発展してきた流れについて説明した。このような変化により、効率が向上して簡素化されたことはあるが、高度に接続されているアーキテクチャの特性により、安全などの分野に関する新しい技術的課題が生まれるようになった。このような課題に完璧に対応するため、次世代サムスンオートSoCは、中央コンピューティングをターゲットに、安全性、セキュリティ、スケーラビリティを強化した機能を提供することを目指している。 安全及びセキュリティの強化 安全に対するサムスンの強い意志を表す次世代オートSoCは、ASIL-Dを遵守しており、ホストCPUと別に動作して他のSoCのステータスをモニタリングする。その他のSoCは、ASPICE、ISO 26262、FMEAなどの自動車規格とASIL-Bを遵守するように設計されている。 サイバーセキュリティも益々重要な要素として浮上しているため、オートSoCは、現在、暗号化エンジンが内蔵された基本的なセキュリティプロセッサとStrongBOXのハードウェアブロックを備えている。また、サムスンはユーザー情報を保護する独自のOSであるExynos TEEを開発し、すでにEAL2認証を取得している。今後、すべてのセキュリティソフトウェアの開発はISO 21434の規格に従う予定である。 スケーラビリティの強化 サムスンは、スケーラビリティの観点から、各自動車のドメインで増加するソフトウェア要件を満たすため、独自にType-1ハイパーバイザーを開発している。このハイパーバイザーは、パフォーマンスを低下させることなく様々なOSをバーチャル化することが可能で、業界標準のAPI VirtIOに対応している。また、特定のソフトウェアに限定されず、サードパーティのハイパーバイザーにも対応している。 中央コンピューティングへのニーズが指数関数的に増加するにつれ、ハードウェアとソフトウェアのスケーラビリティはさらに重要になると予想されている。これに備えるためのサムスンの中核的なソリューションの一つは、コンピューティングの容量を2倍にするため、ソフトウェアを変更することなく、2つのSoCを直接接続させることである。また、オートSoCは、OEMのシステムに応じパッケージ間のマルチSoC接続のため、PCIeまたはイーサネットの使用に対応している。 AI統合、ソフトウェア定義車両の未来に備えた準備 今後、ドライバーは、最大150億のパラメータをリアルタイムで操作できるサムスンの専用AIアクセラレータを通じ、大規模言語モデル（LLM）に基づくAIアシスタントとスムーズに相互作用できるようになるだろう。 また、自動車技術の発展が欠かせない状況だからこそ、オートSoCは各領域の複数の異機種OSを同時に実行できるため、画期的な未来に備えることができる環境となっている。パンは、「サムスンオートSoCの中央コンピューティング機能のおかげで、想像にとどまっていた自動車がまもなく現実化するだろう」として、未来への明るい見通しを示した。

現実世界のマルチメディアアプリケーション

より強力なSoCとセンサー機能が開発されるにつれ、最新のマルチメディアアプリケーションは益々スマートになり、高い演算能力が求められている。このような要件を満たし、人間の行動を完璧に模倣させるという究極の目標を達成するため、サムスンは、低遅延と低電力を主な柱として掲げている。 マルチメディア開発総括のホン・ギジュン(副社長)は、「現実世界のマルチメディアアプリケーション」というセッションで、この2つの中核分野をどのように発展させてきたかについて説明した。 コンテキスト認識コンピューティング ホンの説明通り、様々な機能が搭載されている最新のデバイスの多くは、コンテキスト認識コンピューティングが実装されている機能を提供している。コンテキスト認識機能は赤外線のセンシングから始まったが、最新のセンサーは新しい感覚データとして活用できる世界を切り拓いている。この概念は、イメージセンサーからデータを収集してローデータを処理し、処理済みのデータを使ってユーザーにより良いサービスを提供する3つのステップに分けられる。 すべてのローデータを処理するには多くの操作が必要であるため、消費電力が増えてしまう。まさにここが、サムスンのエンジニアリングイノベーションが発揮されるところである。サムスンは、専用のドメイン別のシステムを含む分散アーキテクチャを採用しているが、これは、より簡単ながらも演算時に特殊な負荷を処理するため、何よりも効率が高いと言える。同システムは、消費電力は少ない一方で処理遅延時間は短いという特徴がある。 低電力・低遅延から生まれる新しい可能性 これにより、システムはローデータからコンテキスト情報を効率的に生成することが可能で、アプリケーションはこれを活用して動作を調整できる。モバイルカメラが既存のデジタルカメラに追いつける適応型技術が注目を集めている。サムスンの専用システムは、ローカルモーション推定及びインスタンス分割機能で、画像とビデオの品質を向上させるコンテキスト認識処理機能を提供しており、通常のプロセッサよりも最大5倍小さいサイズでこれを実行できる。サムスンの最適化されたシステムにより、常時動作するカメラは30uW以上の電力を消費し、バッテリーを充電しなくても一週間連続してビデオをストリーミングできる。 モバイルデバイスにおいて低電力は常に欠かせない要素ではあったが、混合現実ソリューションに対するニーズが急増していることを受け、遅延時間が短く拡張オーディオ/ビデオデータの正確な同期化に対する関心が高まっている。現在のシステムでは約33msの遅延時間が発生する可能性があるが、サムスンは最近のアーキテクチャを修正して連続的なハードウェアのパイプラインを備え、ハードウェア/ソフトウェアに最適化し、モーションと光子間の遅延時間を10ms未満に抑えている。さらに、ジェスチャー認識、視線追跡、空間オーディオの面でも改善が行われている。 未来型マルチメディア技術 ヒューマンセンシングシステムの次のステップは、自然で正確に知覚を再現することである。視覚と聴覚の場合、ユーザの周囲環境を観察、検知及び分類する常時動作カメラとマイクが必要である。このような積極的なコンテキスト認識を通じ、アプリケーションは人間が視聴覚刺激に反応するように動作を調整する。たとえば、オーディオシステムは様々なセンサーのデータを3Dに融合させる3D形状推定機能で実際の音響を再構成し、インテリジェントで没入感あふれる音響を提供するようになることが予想される。 マルチメディア技術の発展により、ヒューマノイドが人間のように自然に検知し、認知し、行動する未来にさらに近づいている。ホンは、「このような未来を実現するためには、引き続き現実との技術的な格差を縮める必要があるが、サムスンのシステムLSI技術を通じ、インタラクティブで没入感あふれる未来を実現していく」と強調した。