[2023存储技术日]AI时代的近存解决方案

回顾“内存墙”的组成，当存储容量不足时，带宽受到限制，这会致使数据传输延迟增加，从而导致系统工作更加困难，进而加大功耗和总持有成本（TCO）。 三星半导体提出“近存解决方案（Near Memory Solutions）”尝试解决这一问题。该方案的提出为存储容量的革新奠定了基础。当下，越来越多的人工智能应用程序深度学习算法采用GPT（Generative Pre-Trained Transformer）等大型语言模型驱动。随着数据呈指数级增长，存储器的传统作用正在从数据存储扩展到存内处理，使存储器发挥分担部分CPU和GPU处理的任务。简言之，当前存储器解决方案正在分担CPU与GPU数据处理工作负载。 2023年10月20日，三星存储器技术日（MTD）在加利福尼亚州圣克拉拉举行，展示了设备内存储空间与存内加速器领域的多项技术进步。这些设备旨在紧跟人工智能的发展与高达数十亿甚至逼近万亿级别的大型语言模型（LLM）训练的GPT参数。 三星半导体副总裁兼新业务规划主管JangSeok (JS) Choi介绍了存储器产品组合，并阐述了公司在新内存层次结构领域的愿景。他表示，加速存储器处理是跟上大型语言模型系统处理速度的关键。并补充道，业界不仅在努力跟上机器学习的步伐，还必需解决人工智能模型的推理问题。简言之，机器学习模型训练完毕后，推理模型会自动应用学习到的知识与新数据点，以预测新数据。而这也需要额外的存储容量、执行力及精度。 首先就是这些产品组合中的低功耗、高带宽、扩展粒度 (LHM：low-power, high-bandwidth, extended granularity ) 解决方案。LHM是一种专注于低功耗、高带宽的DRAM，具有在逻辑芯片顶部进行3D堆叠的能力。此外，该产品组合中还包括以“Icebolt”（HBM3）的形式提供给客户的高带宽存储器（HBM）DRAM。这一存储设备可以堆叠并提供低功耗、高带宽的存储。此外，这还是一款可堆叠12层10nm级16Gb DRAM，存储容量达24GB的AI加速器。Choi副总裁表示，这将是一种与众不同的人工智能推理解决方案。 与此同时，引入了存内计算（PIM）和近存计算（PNM）等技术。此外，作为概念证明而开发的HBM-PIM和CXL-PNM等解决方案使数据传输和处理更接近存储器，防止DRAM处理大型AI模型时出现瓶颈。 另外，该产品组合还开发了旨在提高CPU性能的 CXL（Compute Express Link）协议。 CXL DRAM（CMM-D）、CXP-PNM（CMM-DC）、内存语义SSD（CMM-H）和智能SSD+CXL I/F、Compute（CMM-D）等均为存储器实验室预测的CXL内存扩展和计算解决方案。Choi副总裁预计，截至2026年，市场对CXL价值细分需求将高速增长。 Choi副总裁在演讲中多次强调需要与技术领域的其他公司合作，方能克服AI时代存储问题。存储技术日期间，各公司代表介绍了与Meta、Memverge和SAP HANA的合作案例。 副总裁Walter Jun详细介绍了公司正在为CMM产品线开发的技术，并介绍了CMM对于三星是一个重要机会的原因。CXL的关键功能包括开放标准接口、在PCle 5.0基础上的轻松引用，以及可独立应用于处理大数据模型的扩展内存容量和带宽扩展。 副总裁兼存储解决方案实验室负责人 Sungwook Ryu 受邀上台介绍了存储解决方案实验室正在研究的存储器及SSD开发成果。当前正在开发的两个值得关注的解决方案是：1）提高整体系统性能的无源存储器件；2）将无源存储器件转为更有源的器件。这些解决方案采用了包括DDR、CXL和NVMe等各种协议和接口。 存储解决方案实验室副总裁Yangseok Ki和Sungwook 一同参加了本次演讲。Ki副总裁介绍了CXL内存模块 - 混合（CMM-H）架构、优点和性能。阐述了CMM-H模组的概要并强调了开发这项技术的重要性。有关该器件和架构的更完整描述，请参阅Rekha Pitchumani博士的在线研讨会演讲，“CMM-H（CXL内存模组 - 混合）”：面向以内存为中心计算时代的三星CXL-based SSD”。 近存解决方案正在打造生成式预训练Transformer大语言模型处理的下一个前沿技术。该技术正在通过处理更多的数据，并将其放置在内存模组内和周围，重塑新人工智能时代的计算方式。 _{免责声明： 除非经特殊说明，本文中所涉及的数据均为三星内部测试结果，涉及的对比均为与三星产品相比较。}