ディスアグリゲーテッド ストレージソリューションを使用したAI/ML向け大容量SSD：性能試験結果は有望

現代においては、刻々と大量の非構造化データが生成されています。これは、10年前↗には企業向けストレージ製造業者が予期していなかったことです。当時、従来のファイルシステムとストレージソリューションは、ディスクに保存されているデータを予測可能かつ一貫して見つけるためのインターフェースをコンピュータに備えていました。必要なのは、ストレージのニーズを満たすためにハードドライブを回転させることだけでした。当時、SSDはストレージ市場の非常にニッチな部分を占めていました。 しかし、時間の経過とともにHDDとSSDの市場は交差し始めました。どちらのテクノロジーもオペレーティングシステムへのブロックインターフェースをサポートしているため、HDDで動作するソフトウェアはSSDでも動作します。ただし、この2つのメディアの違いは広がってきました。 HDD用ソフトウェアの開発者は、メディアの性能についてSSDには適用されないことを前提としました。目的とする性能を実現するための一般的な方法は、サーバー上にできるだけ多くのHDDをスタックすることです。過去10年間でSSDの価格は低下し、開発者は、SSDが提供可能な性能を活用する新しい方法を探しています。 SSDはHDD市場に深く浸透し続けていますが、大規模ストレージが採用に抵抗しています。しかし、データアナリティクス、特にAI/MLでのオールフラッシュの大規模ストレージの使用事例は膨大な率で出現しています。これらの使用事例は、予測分析とプロアクティブな意思決定のためにAI/MLを活用するという、新しくて素晴らしい機会を組織にもたらします。この使用事例が企業にもたらすメリットは、コストを上回りはるかに高いROIの結果となります。SDDを使用するための総所有コスト(TCO)も魅力的です。必要なサーバーが少なくなるため、資本コスト(CAPEX)と運用コスト(OPEX)の両方が減少します。大容量のSSDに移行することで管理が簡単になり、消費電力が削減されるため、大幅な節約ができます。 これにより、次のような疑問が生まれます。利用者は大規模な使用事例に対してなぜ16TBまたは32TB SSDにまだ移行していないのですか？ サムスン電子の顧客やパートナーとの話し合いの結果、一般的に大規模なオールフラッシュストレージが依然として新しい概念であることがSDDの使用に完全に移行しない主な理由であると判明しました。ほとんどの場合、最初はHDD用に設計され、後で初期のSSD採用のために後付け改造された従来のストレージソリューションを引き続き使用します。残念ながら、これらは大規模なオールフラッシュの使用事例向けには設計されていません。 そのような容量を効果的に利用するために、組織はSSDが十分なシステムレベル性能を確実に発揮するかの確認をする必要があります。発揮できない場合、何が妨げの理由になりましたか？ ディスアグリゲーテッドストレージを使用してSSD性能の課題を解決 サムスン電子のメモリーソリューションラボ↗(MSL)は、最新のストレージソリューションに影響を与えるシステムレベルの問題調査を専門としています。現在、ディスアグリゲーテッド／コンポーザブルアーキテクチャ、計算の高速化、MLとストリーミングのストレージ、ネットワークベースのヘテロジニアスコンピューティングおよびCXLを含むストレージの仮想化/コンテナ化、計算ストレージ、イーサネットSSD、オブジェクトストレージ、および大規模ストレージに関連する複数のプロジェクトに関与しています。 MSLのシニアディレクター、Mayank Saxenaによると、POSIXベースのファイルシステム、さらには並列ファイルシステム(pNFS)にもいくつかの重大な問題があります。「扱っている大多数の問題は、メタデータと数ペタバイトのデータに対応するためのスケーリングが難しいことです」とMayank Saxenaは述べています。「NFSは小規模(例えば1ペタバイト未満)ではうまく機能するかもしれませんが、ストレージシステムの容量が拡大するにつれて低下し始めます。」 次の表は、パフォーマンスの相対的な低下を示しています。

MSLはこの課題を解決するために、大規模(数百ペタバイト)のAI/MLトレーニングプロジェクトで、ある顧客との代替ストレージソリューションを模索してきました。このプロジェクトでは、時間とともに拡張可能な高速ネットワーク上で非常に高い持続帯域幅が必要になります。この顧客は、性能と容量を実現するだけでなく、小さなフットプリントにもなるソリューションを必要としています。サムスン電子のオープンソースのディスアグリゲーテッド ストレージソリューション(DSS)↗は、これらの要件を満たせることがわかりました。このプロジェクトは、オブジェクトストレージに標準のAmazon S3互換インターフェースを備え、市販のハードウェアと大容量SSDを最大限活用するために、エクサバイトレベルのスケーラビリティを念頭に置いて設計されています。 MSLがオブジェクトストレージを選択した理由 まず第一に、最新のAIアプリケーションの多くは、機械で生成されたデータを処理します。多くの場合、これらのデータはオブジェクトとして保存されます。複数のストレージノード間で単一の名前空間を管理するという複雑さに取り組む代わりに、MSLは異なったアプローチをテストしました。各ノードの独自ファイルシステムをそのままとし、単一のオブジェクトストアを介してデータを管理します。このようにして、Kubernetesなどの外部オーケストレーションシステムがデータ配信を調整できます。 この使用事例では、目的の性能を達成するための問題はSSDにはなく、むしろ、メタデータとファイルシステムが性能を低下させます。オブジェクトストレージを使用すると、ユーザーは大きなデータブロックを管理する必要がなくなり、複数のディスクに簡単に分散および複製できる小さなデータストアを管理します。この方法でストレージを管理すると、ドライブではなくデータ自体にデータ保護ロジックを適用することで処理が簡素化されます。 大規模なDSS性能の検証 この手法で性能を検証するためにMSLは顧客との緊密な連携で、顧客データの特性、ストレージとGPU間でデータをどのように転送するかを理解します。この情報を使用して、最終的に数千を超えるGPUに拡張するという目標を念頭に置いて、目的のトレーニングシステムを代表するトラフィックを生成するためのツールと環境を作成しました。 次に、同一ノード構成で2つの異なるストレージソリューションをテストしました。DSS S3とNFSです。結果は次のとおりです。

MSLは、イレージャーコーディングやRAIDを使用せずに、2種類の異なるサーバー構成で6台のサーバーを使用してテストを実行しました。

• DSS v0.6 - CentOS 7.8.2003 (カーネル 3.10.0-1127.el7.x86_64) • NFS v4 – Ubuntu 20.04.3 LTS (カーネル 5.4.0-100-generic)

ストレージ層だけでなく、アプリケーション層(すなわちAIトレーニング)でもソリューションを比較することが重要でした。本チームは、TensorflowとPyTorch(2つの有名なAIフレームワーク)を利用するストレージソリューションに対してAIベンチマークツールを活用して、顧客のAIトレーニングアルゴリズムとデータセットに対する、データの読み込み時間、総計リスト時間、スループット、レイテンシー、その他のパラメーターの観点からストレージ性能を測定しました。並列ワークロードの増加に伴う性能を実証するため、顧客ノードあたりのAIのトレーニングインスタンスの数は異なった値を使用しました。以下のグラフは結果を示しています。

テスト中、AIのトレーニング数(AIのトレーニングを実行するクライアントノードの数)が増加しても、DSSの性能は大幅に向上し、高い水準を維持しました。 次に、本チームは、ネットワーク機器に十分なスペースと電力を残して、10のストレージノードを備えたフルラックにスケーリングするときのソリューションの性能をテストしました。以下のグラフは結果を示しています。

DSSは、ストレージノードのフルラックから約270GB/sの帯域幅を実現できました。これは、システムの総容量が増加しても、ソリューションがデータのバランスを絶えず調整することなく、高い性能を維持することを示唆しています。 最後に、チームはテストを実行して、ノードごとのスケーリング中DSSがどのように実行されるかを確認しました。下のグラフが示すように、スループットはストレージノード数に比例してスケーリングされるので、ディスアグリゲートされた方法でのスケーリングが容易になります。DSSを使用すると、顧客は大規模SSDの可能性を最大限に活用して、ストレージが性能のボトルネックになるリスクを軽減することができます。

DSSの未来 サムスン電子の顧客は、データ集約型のAIアプリケーションにDSSを活用することで達成される進歩に満足していますが、これだけではありません。システムの全体的な価値をさらに高めるために、実行する必要のあるさらなる作業がいくつかあります。

• さまざまなデータパラメータ(データセットのサイズ、種類、顧客ノード数など)を使用して、 さらなる大規模テストを実行します。 • AI/MLトレーニングワークロードは他のワークロードとは異なるため、実際の機械学習操作を実行するGPUサーバーでテストします。 • 次の2つの方法のいずれかで、SSDの容量/ホストを増やします。 ◦ SSDの容量を32TBから64TBに増やします。 ◦ 難易度の高い場合のある16組だけではなく24組以上のSSDを使用するサーバーを導入します。 • 新しいCPU世代にアップグレードして上限をテストし、サムスン電子の次世代PCIe Gen 5 SSDおよびDDR5メモリでサーバーが可能となる新しい速度の影響を判断します。

まだ不明な点がいくつかありますが、ハードウェア構成に関係なく、非常に大規模でデータ集約型のワークロードに対して高性能スループットを提供できるDSSの機能は非常に有望です。 もっと見る このアーキテクチャの詳細をもっとお知りになりたい場合にはhttps://github.com/OpenMPDK/DSS↗にアクセスしてご覧ください。さらなるパラメーターがテストされるので、新しい結果にご期待ください。 サムスン電子の市場をリードするメモリソリューションの詳細についてはhttps://www.semiconductor.samsung.comにアクセスしてください。