AIの成長を促すスマートメモリー

AIのデータをめぐるジレンマを解消するPIM AIアルゴリズムとアプリケーションの成長と進化により、データ処理においても様々なニーズが急増している。 保健、音声認識、自動運転などのアプリケーション分野でより深いインサイトを得るには、データ処理容量と速度を継続的に高める必要がある。 しかし、このように需要が増加する中、これまでのペースでメモリーの仕様を改善していては間に合わない。 AIの未来を開拓するという高次元の挑戦課題を解決するには、革新的な突破口が必要だ。 AIアプリケーションの成長に影響を与える現在のメモリーソリューションの制約を解決するために登場したのが、Processing-in-Memory(PIM)だ。 サムスン電子は、業界で初めてPIMを高帯域幅メモリー(HBM)に統合した。 PIMは、増加するAIデータ処理の需要と、その需要を満たすのに十分ではない現在のメモリーソリューションのジレンマを解決する架け橋になるだろう。 PIM自体は新しい技術ではないが、以前は学界や業界で概略的な概念としてのみ研究されてきたテーマだった。 PIMは演算とメモリーが統合された構造で、これをベースにしたロジックを搭載したメモリーによって、データの演算をローカルで実行できるようになった。 こうしたタスクは、通常、CPU、GPU、NPUなどの高性能ロジック装置が行う。 このように、ローカルでのデータの演算の実行が可能になれば、遅延時間が最小化されて処理速度が増加するのはもちろん、エネルギー効率も改善される。 サムスン電子はHBMにPCU(Programmable Computing Unit)というAIエンジンを統合することにより、初めてHBM内にPIMを実装した。

よりスマートになったメモリーと進化した性能 AIアプリケーションの成長により、インサイトを得るために繰り返しアクセスして処理すべきデータの量は膨大になった。 必然的なデータ移動のニーズの増加とともに発生した現象の一つが、AIアプリケーションの演算能力がメモリーシステムの性能によって左右されるという点だ。 こうした限界がAIアプリケーションの演算能力を制限するため、これを克服するソリューションの開発が急務となった。 PIMをAIアプリケーションに最適化されたソリューションとして紹介する理由がここにある。 PIMは、データの一部をメモリーにローカルで保存・処理し、メモリーと高性能な論理装置間で移動するデータ量を減らすことができる。 そのため、メモリーシステムがAIアプリケーションの演算能力に加える制約が緩和され、純粋な演算能力が向上する。 通常、AIアプリケーションはコンピューティングバウンド型(ビジョン)と、メモリバウンド型(音声認識、機械翻訳、おすすめ機能)に分かれる。 GPUやニューラルネットワーク処理装置(NPU)は、コンピューティングバウンドなAIアプリケーションに適したソリューションだが、ビッグデータを処理するメモリーバウンドなAIアプリケーションを実行するには、さらに高性能のメモリーシステムが必要になる。 また、コンピューティングバウンドアプリケーションのメモリーシステムに比べて大きな容量と帯域幅が求められる。 現在、商用化されているDRAMのうち、HBMは大容量で小さなフォームファクター、高帯域幅という、コンピューティングバウンドなAIアプリケーションや一部のメモリーバウンドなAIアプリケーションが備えるべき主な要件を満たしている。 しかし、メモリーバウンドなAIアプリケーションの要件は、HBMが持つ容量や帯域幅を超えて急速に増加している。 そのため、サムスン電子はHBMの機能を補完し、メモリーバウンドなAIアプリケーションの性能を改善する手段として、PIMを採用した。

サムスン電子が開発したHBM-PIMが差別化されている点は、PCU(Programmable Computing Unit)というAIエンジンが、メモリー内の一部ロジック機能の性能を実現するメモリーコアに位置していることだ。 このPCUはCPUのマルチコアプロセッサと類似した方法で動作する。 PCUは性能向上のためにメモリー内に並列プロセッサを実装している。 PIMはHBMと調和してAIアプリケーションの演算処理量を向上させるが、これはHBM内の並列処理の割合が高いためだ。 HBMはDRAMのダイを互いに積み重ねて、各DRAMのダイに並列で同時アクセスが可能だ。 このような内部並列処理の割合は、HBM-PIM実装の重要な要素だが、それはHBMの構造が一部のDRAMのダイでローカル演算処理し、ほかのダイで継続的なデータアクセスを行えるためだ。 HBM-PIMは、向上した性能と電力効率の面で将来性が高い。 音声認識などのAIアプリケーションで、HBM-PIMは従来のHBMに比べて2倍の性能を示した。 電力効率の面では、一部の演算作業をDRAMのダイ内で処理するため、メモリーとロジック間のデータ移動によるIOトラフィックが発生しない。 このような初期テストを通じて、HBM-PIMは従来のHBMソリューションに比べて電力消費が70%以上少ないことが証明された。

未来に向かって開かれた扉 PIMはHBMだけでなく、LPDDRやGDDRなど多くのメモリー技術に適用可能で、これまでのメモリーエコシステムを根本的に変えたり捨てたりする必要もない。 ここから大きなチャンスを探ることができる。 メモリーがPIMなしで実行するときよりも、強力でスマートな性能を発揮できるよう実装する作業こそ、業界が新たなAIアプリケーションの開発方法を模索する過程で追求すべき方向性と言えるだろう。 HBMをはじめ、サムスン電子はPIMを通じてコンピューティングへのアプローチを見つめ直す道を歩み始めた。 また、その実現のため、AI業界の革新的な企業とも協業している。 PIMはすでに、私たちの世界を変えるAI分野で可能性を広げている。 今、メモリー技術の革新を通じて、これまでない成果を得る新たな道が開かれた。