进入正文

[社评] AI时代,三星如何在DRAM领域开拓创新

  • 邮件
作者:SangJoon Hwang/三星电子执行副总裁兼DRAM产品与技术团队负责人
▲ 作者:SangJoon Hwang/三星电子执行副总裁兼DRAM产品与技术团队负责人
作者:SangJoon Hwang/三星电子执行副总裁兼DRAM产品与技术团队负责人
▲ 作者:SangJoon Hwang/三星电子执行副总裁兼DRAM产品与技术团队负责人

 

2022年末,ChatGPT横空出世,轰动全球。短短5天内,该服务就吸引了100万订阅者。两个月后,这一数字更激增至1亿,用户注册速度创下历史纪录。ChatGPT之所以能吸引如此多的用户,是因为它提供丰富多样的功能,其对话的流畅程度前所未有,与人类之间的文字讨论几无差别。一言以蔽之,ChatGPT标志着超大规模人工智能(AI)新时代的到来。

ChatGPT是一种大型语言模型(LLM),以包含1750亿个参数的超大规模数据集为基础进行训练。因此,ChatGPT能否有效地提供服务,关键在于有没有高性能的芯片支持。为了快速处理如此大量的数据,存储器半导体需要提供各种优化功能,如高性能、高带宽和低延迟,以实现更快的读写速度。

在超大规模AI新时代,存储器半导体的技术进步和性能提升至关重要。三星电子依托40年的行业先进专业技术积累,部署各种独特的技术,开发多种存储器解决方案,以扩大其AI半导体生态系统。


高性能HBM:AI时代的关键组件

2016年,三星开创性的高性能计算(HPC)用高带宽内存(HBM)实现商用,并积极探索拓展AI存储器市场的机会。

2017年,三星推出采用8层堆叠技术的HBM2。与当时市场环境下速度最快的的GDDR5相比,HBM2将速度一举提升了八倍。通过HBM2,三星成功展示了3D堆叠技术的可行性,该技术将成为HPC/AI新领域的关键组件。

随后三星实现了HBM2E和HBM3的量产,并开发了速度高达9.8千兆位每秒(Gbps)的HBM3E,即将向客户送样,以丰富HPC/AI生态系统。

展望未来,预计三星将于2025年推出HBM4,目前正在开发优化高热特性的技术,如非导电膜(NCF)封装1和铜混合键合(HCB)2

2023年初,三星成立了AVP(高级封装)业务团队,旨在加强先进封装技术,并充分发挥各业务部门之间的协同效应。除HBM之外,三星还将提供先进的客制化交钥匙封装服务,包括2.5D3和3D4先进封装解决方案,是HPC和AI时代的理想选择。

 

展示AI和DRAM技术的插图,视觉元素突出显示先进的半导体功能
展示AI和DRAM技术的插图,视觉元素突出显示先进的半导体功能

 

DDR5 DRAM:容量和性能的新高度

用于AI服务的高端中央处理器(CPU)拥有超过100个内核,每个内核都需要配备足够的存储器容量。受物理上的封装外形限制,要进一步提高容量,相关工艺技术必须尽可能缩小单个DRAM芯片的尺寸5。同样重要的还有设计技术。先进的设计技术能确保在符合规格要求的外形尺寸内部有效放置组件。

相比40年前开发的64 Kb DRAM,新推出的32 Gb DDR5 DRAM的容量提高了50万倍。在同样的封装尺寸下,通过架构上的改进,16Gb DRAM的容量提高了一倍,并且支持在不使用硅通孔(TSV)技术的情况下制造128GB模组。先进架构让生产更具成本效益,生产率更高,同时功耗降低10%。

新型DDR5 DRAM支持制造容量高达1TB的模组。相关应用包括需要更大存储容量的数据中心,以及未来的存储器解决方案,如MCRDIMM和CXL存储器模组。

同时,三星还开发了12纳米级DDR5 DRAM,与上一代产品相比,生产率提高了约20%。这种先进的技术可实现出色的性能和能效,运行速度可达7.2Gbps。按照这一速度,两部30GB的超高清电影只需一秒即可处理完毕。12纳米级DDR5 DRAM适合数据中心、HPC和AI等领域的众多应用,可满足多样化的客户需求。


PIM:存储器市场的新秀

传统冯·诺依曼架构所导致的内存瓶颈,是ChatGPT等大数据应用面临的关键障碍。

为解决这一难题,三星于2018年推出开创性的HBM-PIM(存储器内处理)解决方案。HBM-PIM能够以出色的能效水平实现存储器内计算。这一突破性技术还促成了PIM平台的标准化,同时建立了一个新的行业/学术生态系统。通过在DRAM中嵌入数据计算功能,HBM-PIM解决了内存带宽瓶颈问题,使性能提高了12倍。语音识别等特定功能的能效提高了4倍。

提高系统性能的相关研究正在进行中。除了生成式AI的可扩展性之外,三星还在研究如何使用CXL接口在DRAM上配置PIM架构。


利用未来的外形规格创造新市场

截止目前,笔记本电脑和PC中使用的DRAM通常为LPDDR或So-DIMM6。So-DIMM可以拆卸,但在传输速度和空间效率方面存在限制。LPDDR结构紧凑,节能,但需要焊接到主板上。为弥补这两种DRAM的各自短板,三星开发出开创性的低功耗压缩附加内存模组(LPCAMM),这是一种基于LPDDR DRAM的模组产品,结合了上述两种DRAM的优势。

三星突破性的LPCAMM是一种新型封装规格的LPDDR,正在开拓新的市场。它既具有高性能和低功耗特性,又支持拆卸,便于维修或升级。与So-DIMM相比,LPCAMM的安装面积缩小60%,在节省内部空间的同时,性能和能效分别提高50%和70%。

存储器产品的性能和能效非常重要,因此LPCAMM有望用于笔记本电脑和PC之外的各种应用,如数据中心等。


为半导体驱动的未来而创新

40多年来,三星电子坚定不移地致力创新,不断取得技术突破。通过我们独特的竞争方法,持续推出跨时代的产品,提前满足未来技术的需求。我们将提供超高性能、超大容量和超低功耗存储器解决方案,满足AI新时代所需,并特别关注10纳米以下工艺这一重要的DRAM市场拐点。

三星将一如既往,继续站在技术创新的中心,为快速变化的世界开发半导体产品。

 

展示DRAM规模化及其在推动AI时代中的作用的图像,包含图表和示意图。
展示DRAM规模化及其在推动AI时代中的作用的图像,包含图表和示意图。

1 NCF(非导电膜):一种聚合物层,用于保护堆叠芯片之间的焊点免受绝缘和机械冲击的影响。
2 HCB(铜混合键合):新一代键合技术,使用铜(导体)和氧化膜(绝缘体)来代替传统焊料。
3 2.5D封装:将单层逻辑半导体和多层存储器半导体集成在同一块基板上的封装技术。
4 3D封装:垂直集成多个逻辑/存储器半导体的封装技术。
5 DRAM:动态随机存取存储器
6 So-DIMM:小外形双列直插式内存模组

免责声明: 除非经特殊说明,本文中所涉及的数据均为三星内部测试结果,涉及的对比均为与三星产品相比较。