进入正文

利用计算快速链接(CXL)存储器实现卓越的可扩展性:三星与红帽(Red Hat)拓展生态系统

  • 邮件
2023年12月,三星电子宣布,与全球顶级企业Linux供应商红帽首次在业内成功验证了CMM-D1存储器运行。成功验证CMM-D的运行标志着技术公司在下一代存储器软件技术方面的合作向前迈出了重要一步。 红帽企业级Linux(RHEL)在开源生态系统的基础上,凭借其增强的稳定性和强大的安全性,被誉为企业高度信赖的操作系统(OS)。事实上,超过90%的《财富》500强企业与红帽合作过2。这在很大程度上是因为红帽公司采用以开放、易于部署的形式更新和开发操作系统的策略,而非采用申请专利的传统方式。其结果,红帽已成为针对业务优化的开源软件领域的领导者。 随着三星存储器和红帽继续在软件和硬件领域追求平行创新,让我们来看看他们的合作历程及其成功所带来的影响。 三星下一代存储器与红帽软件的搭配
在红帽生态系统目录中注册的三星存储器产品
在红帽生态系统目录中注册的三星存储器产品
在红帽生态系统目录中注册的三星存储器产品
目前,三星电子在红帽生态系统中注册了13种存储器解决方案,该系统支持企业服务器的各种硬件。注册产品与Linux兼容,并提供全面支持和高安全性。此外,三星在存储器领域还有机会与使用红帽企业级Linux的企业客户开展业务。这些潜在客户还可受益于红帽长达10年生命周期的技术支持。 2022年5月,三星电子与红帽公司签署了一份谅解备忘录(MoU),将软件与存储器硬件进行集成并建立一个可扩展的生态系统,从而将他们的合作提升到一个新的水平3
三星电子与红帽公司签署了一份谅解备忘录(MoU),将软件与存储器硬件进行集成并建立一个可扩展的生态系统,从而将他们的合作提升到一个新的水平。
三星电子与红帽公司签署了一份谅解备忘录(MoU),将软件与存储器硬件进行集成并建立一个可扩展的生态系统,从而将他们的合作提升到一个新的水平。
通过此次合作,三星和红帽能够在红帽企业级Linux 9.3中成功验证了计算快速链接存储器操作。该验证在三星存储器研究中心(SMRC)完成,将引领计算快速链接生态系统的扩展,并创造各种商机。 红帽企业级Linux:充分利用CMM-D 2023年11月,红帽企业级Linux 9.3正式发布,提供存储器扩展器,即计算快速链接Type3设备,支持计算快速链接驱动程序。这些驱动程序包括对CMM-D的支持。
具有代表性的计算快速链接用例(来自CXL™联盟)
具有代表性的计算快速链接用例(来自CXL™联盟)
具有代表性的计算快速链接用例(来自CXL™联盟)(From CXL™ Consortium)
CMM-D在人工智能时代有哪些优势? 计算快速链接是一种统一的接口标准,使用第五代高速串行计算机扩展总线标准,将中央处理器和图形处理器连接到存储器。在全球人工智能热潮中,它作为具有增强可扩展性的下一代接口而备受关注。这种可扩展性使计算快速链接成为一种快速、最佳的解决方案,可有效处理人工智能/机器学习带来的爆炸式增长的数据量4。 由于动态随机存储器模块容量和双倍数据速率动态随机存储器插槽数量的限制,现有的动态随机存储器双倍数据速率动态随机存储器接口在扩展性方面存在局限性。为了解决这个问题,传统上有两种主要方法来进一步扩展存储器。首先,可以配置由中央处理器和存储器组成的多个存储器节点。其次,如果主机存储器耗尽,则可以使用远程存储器直接访问(RDMA)来利用来自网络连接存储器节点的存储器。 然而,这些处理方法存在缺陷。配置额外的存储器节点会增加更多的中央处理器和系统,从而增加成本。另一方面,远程直接内存访问会因数据传输的软件开销而会性能降低。CMM-D通过减少开销并允许将动态随机存储器安装到通常连接固态硬盘的高速串行计算机扩展总线标准接口来解决这两个问题。这使得它可以在不引入额外系统的情况下显著扩展存储器容量。 可扩展内存开发工具包(SMDK)软件,支持下一代存储器
图片来源:红帽公司
图片来源:红帽公司
图片来源:红帽公司
非一致性内存访问架构(NUMA)是一种有效管理存储器的方法。它通过将每个中央处理器划分为可访问的存储器区域来解决瓶颈问题。Linux允许非一致性内存访问架构在计算快速链接存储器上运行,从而最大限度地提高了CMM-D的利用率——即使它并非专用于特定中央处理器。由于非一致性内存访问架构以前仅限于双列直插式内存模组(DIMM),因此支持对连接到计算快速链接存储器的设备是最近的一项进展。 具体来说,在Linux内核5.12或更高版本的环境中,可以使用存储器热插拔功能为一致性内存访问架构节点和直接存储器访问(DMA)区域创建映射。如果在装有计算快速链接设备的系统上激活了EFI_MEMORY_SP5 ,计算快速链接设备则将配置为设备直接访问(DAX)模式,从而启用存储器热插拔联机 Linux分配存储器的方式可以在/proc/buddyinfo和/proc/zoneinfo文件中查看6。 目前,关于支持和使用下一代存储器(如CMM-D)软件的讨论正在进行中。自2021年以来,三星电子开发了可扩展内存开发工具包,这是一种用于基于计算快速链接的异构存储器池的全栈软件开发工具,自2022年3月以来,三星电子一直以开源形式分享该工具。可扩展内存开发工具包为计算快速链接存储器用户和应用程序提供开发和管理软件的工具,以及大量实验性存储器分层功能,以实现计算快速链接用例。
图片来源:软件项目托管平台(GitHub)
图片来源:软件项目托管平台(GitHub)
图片来源:软件项目托管平台(GitHub)

使用非一致性内存访问架构实现更优化的数据处理:进行存储器分层和池化
零中央处理器非一致性内存访问架构节点的CMM-D
零中央处理器非一致性内存访问架构节点的CMM-D
零中央处理器非一致性内存访问架构节点的CMM-D
[root@rhel93-cxl ~]# numactl -H available: 3 nodes (0-2) node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 node 0 size: 63625 MB node 0 free: 59498 MB node 1 cpus: 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 node 1 size: 64457 MB node 1 free: 23455 MB node 2 cpus: node 2 size: 131072 MB node 2 free: 131070 MB node distances: node 0 1 2 0: 10 21 14 1: 21 10 24 2: 14 24 10
CMM-D被设置为无中央处理器非一致性内存访问架构节点,可用于高存储器负载的人工智能/机器学习和5G系统,从而实现更高效、更优化的数据处理。它带来的另一个好处是,现有功能无需更改即可使用。 □ 存储器分层(页面降级) 当很少访问的数据存储在本地存储器中时,频繁使用存储器的性能将会降低。幸运的是,现在可以通过使用计算快速链接存储器和红帽企业级Linux的存储器分层功能来有效解决这个问题。该功能可将常用存储器分配给本地存储器层,将不常用存储器分配给计算快速链接层,以便在必要时在各层之间进行数据迁移。
图片来源:学术文献数据库(IEEE Explore)
图片来源:学术文献数据库(IEEE Explore)
图片来源:学术文献数据库(IEEE Explore)7
□ 零中央处理器非一致性内存访问架构虚拟机监视器(KVM) 在大规模云环境中,由于本地存储器是为虚拟机(VM)实例预留的,因此服务扩展存在局限性。可通过将虚拟机分配到计算快速链接存储器区域,并通过资源规模扩大来构建优化的基础设施,以克服这种限制。下图显示了为基于内核的虚拟机环境分配的计算快速链接非一致性内存访问架构存储器用例。
零 CPU NUMA 管理程序 (KVM)
零 CPU NUMA 管理程序 (KVM)
□ Podman和容器 随着现有虚拟机中的应用迁移到容器环境,因本地存储器的限制,节点正在大规模扩展。为了克服这些局限性,可以将容器分配到计算快速链接存储器区域,而扩展可能有助于配置基础架构。下图显示了为Podman环境分配的计算快速链接非一致性内存访问架构存储器用例。
利用申请流程
利用申请流程
□ 使用应用程序 计算快速链接存储器扩展可创建具有正常和可移动属性的零中央处理器非一致性内存访问架构区域。以相同的形式将存储器分配给内核,必要时可通过非一致性内存访问架构绑定技术在应用程序中使用。 扩展计算快速链接存储器时,会创建一个零中央处理器非一致性内存访问架构形式的区域。然后,当计算快速链接存储器被分配给内核时,它将作为具有正常和可移动属性的零中央处理器非一致性内存访问架构区域运行。被分配的计算快速链接存储器,必要时,可通过非一致性内存访问架构绑定技术在应用程序中使用。
配置大页
配置大页
□ 配置大型页面 内核试图通过将页面从存储器交换到磁盘或在存储器中缓存磁盘来最有效地使用存储器。这在大多数环境中都能很好地运行,但在使用数据库应用程序时,由于项目必须在存储中等待,用户可能会遇到诸如高“I/O等待”或“无响应服务器”之类的问题。出现这些问题的原因是,在应用程序尝试访问数据时,存储器页面被替换或即将被替换,从而导致磁盘访问次数过高。 使用大型页面可以确保为应用程序预先分配使用的大量空间。该存储器不会在磁盘上换入和换出,并且部分缓解了先前环境中出现的低效率问题。它还能带来其他好处,如减少存储器管理开销。
配置大页
配置大页
□ 设置随机存取存储器磁盘 储存在随机存取存储器磁盘分区上的文件可以比硬盘更快地访问数据,因为存储器通常比磁盘的运行速度更快。这对于持续访问某些数据有助于提高性能的情况尤其有用,例如使用随机存取存储器磁盘分区快速访问网络服务器数据。
设置 RAM 磁盘
设置 RAM 磁盘
发布计算快速链接存储器使用指南 Guide 随着CMM-D的成功验证,数据中心客户现在能够使用三星的下一代存储器,而无需额外进行更改软件,从而提高了易用性。展望未来,三星计划扩大与软件、服务器和芯片组供应商的合作。它还将分发一份文件指南,使客户可以轻松地在红帽企业级Linux上安装和使用CMM-D,这将有助于推动下一代存储器的商业化。该文件将发布在红帽网站上。 从更广泛的角度来看,此次软件合作对存储器行业具有重大意义,因为其积极成果将有助于广泛扩大基于计算快速链接的存储器产品的基础——正如三星和红帽的主要专家在下面评论的那样。 红帽战略客户经理Taehoon Lee表示:“改变CMM-D的存储器管理需要不断讨论。” “我们需要考虑将CMM-D用于5G网络应用,如5G虚拟化分布式设备(5G vDU)和5G用户面功能(5G UPF),在这些应用中,大型页面是必不可少的,或者用于对存储器要求较高的应用,如人工智能/机器学习。” “在像Kernel.org这样的社区就CMM-D的最佳架构达成共识之前,我们需要一种方法来管理应用程序中的存储器分层。我们还需要讨论可用于OpenStack或Openshift等云平台的分解计算。”,Lee强调说。“我们正与三星存储器研究中心紧密合作,在基础设施即服务(IaaS)和平台即服务(PaaS)8层面提供支持。” 三星电子动态随机存储器解决方案团队首席工程师Kyungsan Kim表示:“红帽是Linux行业公认的领导者,我们相信计算快速链接Enablement的首次合作将为我们存储器产品生态系统的发展做出重大贡献。“我们期待两家公司开展更加密切的合作,从而开发出基于开源原则的集成系统解决方案。” 负责监督该项目的三星存储器研究中心(SMRC)主任Byungsoo Kim表示:“三星与红帽合作启用CMM-D只是一个漫长而有意义的开始。” “我们希望,不仅是操作系统公司,从服务器到设备、平台和应用等领域的众多合作伙伴都能加入我们的行列,共同拓展计算快速链接生态系统。三星存储器研究中心将为实现这一目标提供一个优化的开放平台。” 目前,两家公司正准备合作建立一个参考架构,并为分布式存储器创建一个可实施的模型,在该模型中,所有计算资源(中央处理器、图形处理器和存储器)都可通过快速的网络连接。此次合作将包括参与三星和红帽的各种论坛和技术活动。与此同时,三星存储器研究中心(SMRC)将继续努力扩展计算快速链接生态系统,并提供进一步推动下一代存储器发展的解决方案。
1 计算快速链接(CXL™)存储器模块动态随机存储器。 2 https://www.redhat.com/cn/about/company 3 https://news.samsung.com/global/samsung-electronics-and-red-hat-announce-collaboration-in-the-field-of-next-generation-memory-software 4 “AI/ML”代表“人工智能和机器学习”。 尽管这些技术并不完全相同,但它们往往被归为一类。 5 EFI_MEMORY_SP属性位指的是为特定用途保留的存储器。 6 https://access.redhat.com/solutions/700683 7 https://ieeexplore.ieee.org/document/10016720 8 “IaaS”和“PaaS”分别代表“基础设施即服务”和“平台即服务”。