[Memory Tech Day 2023] AI時代のためのニアメモリソリューション

「メモリウォール」とは、メモリ容量が不足すると帯域幅が制限され、データ転送遅延時間が伸び、システム作業量と電力消費が増加して総所有コスト、すなわちTCOが増加することである。 サムスンは、この問題に対する解決策として「ニアメモリソリューション」を提示した。この価値提案はメモリ容量イノベーションの土台となっている。AIアプリケーションでは、GPT（Generative Pre-Trained Transformer）の大規模言語モデル処理によって動かされるディープラーニングアルゴリズムの採用が増えている。データが指数関数的に増加するにつれてメモリの伝統的な役割はデータ記憶からインメモリ処理に拡大されており、今ではCPUとGPUの処理作業の一部を軽減する役割を果たしている。簡単に言うと、今やメモリソリューションがデータ処理ワークロードをCPUやGPUと共有する時代になっている。 2023年10月20日、カリフォルニア州サンタクララで開かれた「Samsung Memory Technology Day（MTD）」では、オンデバイスのメモリストレージとメモリ内に組み込まれているアクセラレータ分野で様々な技術成果が披露された。このようなデバイスは、日々進化しているAIの発展と大規模言語モデル（LLM）を学習する上で使用される数十億、まもなく数兆に達するGPTパラメータに追いつくためのものである。 サムスン電子新事業企画チーム長のチェ・チャンソク(副社長)は、メモリポートフォリオの紹介と新しいメモリ階層構造に対するビジョンの説明から発表を始めた。チェは、メモリ処理速度を上げなければシステム処理速度に追いつくことはできないとの見解を明らかにした。続いて業界が機械学習に追いつくために努力しているだけでなく、これからはAIモデルの推論も解決する必要があると強調した。簡単に説明すると、機械学習モデルが学習されるとモデルの推論は学習した知識を新しいデータポイントに自動的に適用して新しいデータに対する予測を行う。この作業にも同じく追加のメモリ容量、実行、及び精度が求められる。 このようなポートフォリオの1番目の提案は、省電力、高帯域幅、拡張細分化（LHM）ソリューションである。LHMは、チップロジックダイ上に3D積層が可能な高帯域幅・省電力に焦点を合わせたDRAMである。また、ポートフォリオには、現在、「Icebolt」（HBM3）という名前で顧客に提供される高帯域幅メモリ（HBM）DRAMもある。このメモリデバイスは、積層可能で、省電力を実現しながら最も高い帯域幅のメモリを提供する。10ナノ級16Gb DRAMダイを12段積層して24GBメモリを作ることができるAIアクセレータである。チェは、これこそが差別化要因となるAI推論ソリューションだと説明した。 PIM（Process-In-Memory）及びPNM（Process-Near-Memory）などの技術も導入されている。概念を実証するために開発されたHBM-PIMやCXL-PNMなどのソリューションは、データ転送や処理をメモリのより近くに配置し、大規模AIモデルの処理中にDRAMでボトルネックが発生しないようにする。 また、同ポートフォリオには、CPUパフォーマンスの加速を目指すCXL（Compute Express Link）プロトコルの開発も含まれている。CXL DRAM（CMM-D）、CXL-PNM（CMM-DC）、メモリセマンティックSSD（CMM-H）、Smart SSD + CXL I/F、Compute（CMM-HC）は、すべてメモリラボで予測するCXLメモリ拡張及びコンピューティングソリューションである。チェは、2026年までにCXLの価値部門に対するニーズが急増すると予想している。 チェは発表を通じてAI時代におけるメモリ問題を乗り越えるためにはテクノロジー分野の他の企業と協力する必要があると数回強調した。Memory Tech Dayでは、Meta、Memverge、SAP HANAとのパートナーシップと協業事例について各社の代表より発表を行った。 また、ウォルタージュン(副社長)は、CMMの製品群のために開発中のテクノロジーについて詳しく紹介し、なぜCMMがサムスンにとって重要な機会であるかについて説明した。オープンスタンダードインターフェース、PCIe 5.0インフラを活用した簡単な導入、大容量データモデルを処理するために独立して適用できるメモリ容量の拡張と帯域幅の増加などがCXLの中核機能として取り上げられた。 メモリソリューションラボのリュ・ソンウク(副社長)は、登壇してメモリソリューションラボで進めているメモリとSSD開発の現状について発表した。現在、開発中の2つの注目すべきソリューションとしては、1）全体システムのパフォーマンスを改善するためのパッシブメモリデバイス、２）パッシブメモリデバイスのよりアクティブなデバイスへの切り替えが挙げられる。このようなソリューションには、DDR、CXL、NVMeを始めとする様々なプロトコルとインターフェースが活用されている。 今回の発表には、同じくメモリソリューションラボのキ・ヤンソク(副社長)も同席した。キは、CXL Memory Module-Hybrid（CMM-H）のアーキテクチャ、メリット、パフォーマンスについて発表した。CMM-Hモジュールの概要について説明を行ってから、技術開発の重要性を強調した。同デバイスとアーキテクチャの詳細については、Ph.レカ・ピチュマニ（Rekha Pitchumani）のウェビナープレゼンテーション、「CMM-H（CXL Memory Module-Hybrid）：メモリ中心のコンピューティング時代に向けたサムスンのCXLベースのSSD」で確認できる。 ニアメモリソリューションは、大規模言語モデルを処理するためのGPTの新しい道標を示している。より多くのデータ処理してメモリモジュールの近くに配置することで、新しいAI時代におけるコンピューティング手法を見直している。