据相关媒体报道，三星的HBM3已经通过了英伟达的适用性测试，不过还不打算大规模铺开，仅计划用于中国特供版的H20计算卡。传闻三星的HBM3在英伟达其他GPU上的使用仍然不确定，可能需要进行额外的验证测试，另外HBM3E还在接受英伟达的评估。

根据之前泄露的H20计算卡基准测试成绩，其内核数量相比H100减少了41%，性能下降了28%。虽然规格上打了折扣，但是H20仍有着不错的销售前景，受到了客户的欢迎，预计2024年英伟达将向中国出售超过100万块H20，每块售价大概在1.2万至1.3万美元，意味着销售额将达到120亿美元以上，这将超过上一个财年英伟达在中国的总收入。

有消息称，三星在今年5月启动了一项代号“Nemo”的内部战略计划，要求所有的部门优先考虑英伟达的订单，这意味着与英伟达相关的业务已成为三星的首要任务。此前三星还否定了坊间有关HBM3和HBM3E芯片一直没有通过英伟达验证是由于运行过热和功耗过高的说法，强调通过持续的合作来确保产品的质量和可靠性，以便向客户提供最佳解决方案。

已经有媒体联系了三星和英伟达，不过暂时都没有得到官方的回应。

据了解，SK海力士正在与包括英伟达在内的芯片设计公司讨论HBM4集成设计方案。SK海力士和英伟达可能从一开始就进行了合作，而且会选择在台积电生产，将使用晶圆键合技术将SK海力士的HBM4安装在逻辑芯片上。为了让存储器和逻辑半导体作为一个整体工作，这样的合作也是必须的。

从成本上来说，这样的设计是可行的，能简化芯片设计并降低成本，不过需要面对热量的挑战。现在一块计算中心计算卡的功耗可能是几百瓦，即便只是HBM部分也相当耗电，要做好散热可能需要非常复杂的方式。

选择这种集成方法也将改变芯片的设计和制造方式，存储器与逻辑芯片将采用相同的工艺技术，而且会在同一间晶圆厂生产，确保最终的性能。如果仅考虑DRAM的成本，那么确实会有较大幅度的增长，所以各方都还没有真正认真考虑这一方案。

有半导体行业的人士表示，在未来10年内，半导体的“游戏规则”可能会发生变化，存储器和逻辑半导体之间的区别可能会变得更小。

美光希望未来几年继续在HBM和GDDR类内存上努力，此前已推出业界首款带宽超过1.2 TB/s、引脚速度超过9.2 GB/s、8层垂直堆叠的24GB容量HBM3 Gen2，对应的应该就是路线图上显示的HBM3E。美光该款HBM3E将于2024年初到来，预计会在英伟达面向AI和HPC推出的新一代GPU上首次亮相。美光还在准备12层垂直堆叠的单品36GB HBM3E芯片，将会在2025年推出。

更大变化的将是HBM4，计划在2026年发布，内存堆栈将采用2048位接口，带宽超过1.5 TB/s。美光打算在2026年至2027年之间，推出容量在36GB至48GB、12/16层垂直堆叠的产品。到了2028年还会有HBM4E，频率将进一步提升，容量将增加至48GB到64GB，带宽增加至2 TB/s以上。

下一个GDDR版本，也就是GDDR7将会在2024年末到来，每个数据I/O接口的速率达到了32 Gbps，容量为16Gb至24Gb。预计到2026年末，单个芯片的容量会超过24Gb，速率也会提升至36 Gbps。

美光预计在2025年提供128GB至256GB的MCR DIMM内存模块，数据传输速率为8800 MT/s，然后在2026年或2027年提供容量超过256GB的MCR DIMM内存模块，数据传输速率会攀升至12800 MT/s。同时美光准备推出支持CXL 2.0的内存模块，容量在128GB至256GB，带宽将达到36 GB/s，接下来还有支持CXL 3.x的内存模块，容量超过256GB，带宽超过72 GB/s。

对于低功耗应用，业界将继续使用LPDDR内存。美光速率为8533 MT/s或9600 MT/s的LPDDR5X将继续使用一段时间，然后从2025年开始提供基于LPDDR设计的LPCAMM2内存，速率为8533 MT/s，容量在16GB至128GB，到了2026年中旬还会有速率为9600 MT/s、容量超过192GB的产品。

据BusinessKorea消息称，同样作为存储大厂的三星也加快了第五代HBM3e“Shinebolt”的开发与销售进度，预计将紧随SK海力士之后。经初步测试，“Shinebolt”的最大数据传输速度将比上一代有所提升，预计将达到1.228TB/s，比SK海力士的HBM3e（最大数据传输速度为1.15TB/s）更快，同时“Shinebolt”还采用了最新的12层垂直堆叠方案，能够在单个HBM3e封装上实现高达36GB的容量，而原型版本使用的8层堆叠方案仅实现了24GB的容量。三星电子的HBM开发和生产速度目前仍落后于SK海力士，美光也已经向客户提供了性能相当的HBM3 Gen2的测试样品，不过三星电子正在制定战略，以夺回先进存储芯片生产的领先地位。

HBM（High Bandwidth Memory）属于垂直连接多个DRAM，与DRAM相比显著提升数据处理速度的高附加值、高性能产品。HBM DRAM产品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的顺序开发，其中 HBM3E是HBM3的扩展（Extended）版本。HBM被认为是人工智能时代的新一代DRAM。

美光总裁兼首席执行官Sanjay Mehrotra表示，人工智能（AI）业务将带来数以亿计美元的收入，希望这股热潮能带美光走出财务困境。同时美光一直与英伟达紧密合作，预计HBM3 Gen2将会在2024年英伟达面向AI和HPC推出的新一代GPU上首次亮相。

据美光的介绍，HBM3 Gen2产品的每瓦性能是前几代产品的2.5倍，为人工智能（AI）数据中心的性能、容量和功率效率等关键指标创造了新的记录，可以减少GPT-4等大型语言模型的训练时间，并提供了卓越的总拥有成本（TCO）。美光HBM3 Gen2解决方案的基础是其1β（1-beta）工艺，在行业标准封装尺寸内将24GB DRAM芯片组成了8层垂直堆叠的立方体。

此外，美光还在准备12层垂直堆叠的单品36GB DRAM芯片，与现有的竞争解决方案相比，在给定的堆栈高度下，美光提供的容量增加了50%。

目前三星已通过了HBM3的决定性质量测试，为与AMD之间的合作打下了基础。随着拿下AMD Instinct MI300系列产品的订单，有机构预计明年三星将获得HBM市场50%的份额。三星也向英伟达提出了新的方案，而现阶段“双源”战略对后者可能更为有利，可以最大限度地提高产能，不过英伟达还需要顾及与台积电之间的关系。

根据现有的资料，Instinct MI300系列产品可能包括：

Instinct MI300A（CPU+GPU）- 6个XCD（最多228个CU / CDNA 3架构），3个CCD（最多24个核心 / Zen 4架构），8个HBM3堆栈（共128GB）

Instinct MI300X（纯GPU）- 8个XCD（最多304个CU / CDNA 3架构），0个CCD（最多0个核心 / Zen 4架构），8个HBM3堆栈（共192GB）

Instinct MI300C（纯CPU）- 0个XCD（最多0个CU / CDNA 3架构），12个CCD（最多96个核心 / Zen 4架构），8个HBM3堆栈（共128GB）

Instinct MI300P（纯GPU）- 4个XCD（最多152个CU / CDNA 3架构），0个CCD（最多0个核心 / Zen 4架构），8个HBM3堆栈（共64GB）

此外，AMD可能会像英伟达及英特尔那样，通过定制产品绕开相关的出口限制，寻找机会向中国客户提供对应的人工智能解决方案，也就是中国市场特供产品。

SK海力士认为，随着人工智能聊天机器人（AI Chatbot）产业的发展，高端存储器需求也随之增长，决定从今年下半年起，将新款HBM3 DRAM推向市场，以满足市场需求。SK海力士已向合作伙伴提供了24GB HBM3 DRAM样品，客户对此产品都抱有极大的期待。

据了解，SK海力士的技术团队在新产品中采用了先进（Advanced）MR-MUF3和TSV4技术，通过先进MR-MUF技术加强了工艺效率和产品性能的稳定性，又利用TSV技术将12个比现有芯片薄40%的单品DRAM芯片垂直堆叠，实现了与16GB产品相同的高度。

HBM DRAM是实现需要高性能计算的生成式AI所必要的存储器半导体产品，第一代HBM DRAM在2013年首次亮相。最新规格的HBM3 DRAM被认为能够快速处理庞大数据的首选产品，目前大型科技公司的需求也在不断扩大。

事实上，ChatGPT的出现似乎给存储器制造商带来了转机。据Business Korea报道，今年年初以来，三星和SK海力士的HBM订单量激增，价格也水涨船高，给低迷的DRAM市场注入了一丝活力。

相比于普通的DRAM，HBM通过堆叠方式实现了更高的带宽，与CPU及GPU协同工作中，可以提高机器学习和计算性能。除了英伟达和AMD的计算卡，近期英特尔也发布了首款采用HBM内存的x86处理器Xeon Max，上面也使用了HBM2e，越来越多涉及AI的高性能芯片选择HBM。

虽然HBM有着更强的性能，但比起普通DRAM出货量要少很多，这是由于其平均售价是普通DRAM的三倍，需要复杂的生产工艺和先进的生产技术。随着ChatGPT的出现，AI再次成为了热点，对高性能计算芯片的需求增加，也让HBM受惠。英伟达最新的H100计算卡采用了最新的HBM3，据了解，与最高性能DRAM相比，目前HBM3的价格最高上涨了五倍。

此外，存储器制造商还在原有HBM基础上集成AI引擎。此前三星就推出了HBM-PIM（Aquabolt-XL）芯片，最高可提供1.2 TFLOPS嵌入式计算能力，使内存芯片本身可以执行CPU、GPU、ASIC或FPGA的操作。通过在每个内存模块内注入了一个AI处理器，从而将处理操作转移到HBM本身，从而减轻了内存与一般CPU之间转移数据的负担，未来还会扩展到DDR4、DDR5、LPDDR5X、GDDR6和HBM3内存上。SK海力士也在去年宣布开发出具备计算功能的GDDR6-AiM（Accelerator-in-Memory/内存加速器），将计算功能添加到速率为16 Gbps的GDDR6上。

有业内人士表示，存储器制造商仅依靠制造工艺的时代已经过去，加入数据处理能力的AI半导体技术的发展将变得非常重要，可能决定芯片制造商的未来。从中长期来看，HBM-PIM这类型专用DRAM芯片的发展将使半导体行业发生巨大变化。

英伟达向SK海力士采购的是带宽为819 GB/s的HBM3，与JEDEC今年初发布的HBM3高带宽内存标准相符。根据过往的资料，SK海力士目前提供了两种容量，一个是12层硅通孔技术垂直堆叠的24GB（196Gb），另一个则是8层堆叠的16GB（128Gb），均提供819 GB/s的带宽，前者的芯片高度也仅为30微米。相比上一代HBM2E的460 GB/s带宽，HBM3的带宽提高了78%。此外，HBM3内存还内置了片上纠错技术，提高了产品的可靠性。

SK海力士对于HBM的研发一直非常积极，早在去年6月份就展示了第一款HBM3，提供了665 GB/s的带宽。随后在去年10月份，SK海力士已宣布成功开发出了HBM3内存，成为全球首家开发出新一代HBM内存的公司。在今年初的ISSCC 2022上，SK海力士还展示了带宽为896 GB/s的HBM3。

JEDEC表示，HBM3是一种创新的方法，是更高带宽、更低功耗和单位面积容量的解决方案，对于高数据处理速率要求的应用场景来说至关重要，比如图形处理和高性能计算的服务器。新一代HBM3内存主要属性包括：

将经过验证的HBM2架构扩展到更高的带宽，将HBM2的每引脚数据速率提高一倍，并定义高达6.4 Gb/s的数据传输速率，相当于819GB/s。

将独立通道的数量从HBM2的8个增加到16个，每个通道有两个伪通道，HBM3实际上支持32个通道。

支持4层、8层和12层TSV堆栈，并为未来扩展至16层TSV堆栈做好准备。

支持单层8Gb到32Gb的存储密度，意味着容量从4GB（4层8Gb）到64GB（16层32Gb），预计第一代HBM3设备将基于单层16Gb。

为了满足市场对高级平台RAS（可靠性、可用性、可维护性）的需求，HBM3引入了片上纠错技术（ECC），以及实时错误报告和透明度。

通过在主机接口上使用低摆幅（0.4V）信号和较低 （1.1V）工作电压来提高能效。

技术营销总监兼JEDEC HBM小组委员会主席Barry Wagner表示，凭借HBM3内存更强的性能和可靠性，将对需要海量内存带宽和容量的新应用提供有力的支持。此外，美光、SK海力士和Synopsys等企业的负责人也对HBM3内存标准的发布感到高兴。

在去年10月份，SK海力士已宣布成功开发出了HBM3内存，成为全球首家开发出新一代HBM内存的公司。SK海力士提供了两种容量，一个是12层硅通孔技术垂直堆叠的24GB，另一个则是8层堆叠的16GB，均提供819 GB/s的带宽，前者的芯片高度也仅为30微米。

SK海力士是对于HBM内存的研发一直非常积极，早在去年6月份就展示了第一款HBM3内存，提供了665 GB/s的带宽。随后在去年10月份，SK海力士已宣布成功开发出了HBM3内存，成为全球首家开发出新一代HBM内存的公司。

SK海力士提供了两种容量，一个是12层硅通孔技术垂直堆叠的24GB，另一个则是8层堆叠的16GB，前者的芯片高度也仅为30微米。这些HBM3内存可提供819 GB/s的带宽，比上一代HBM2E的带宽则是460GB/s，带宽提高了78%。此外，HBM3内存还内置了片上纠错技术，提高了产品的可靠性。

这次SK海力士带来的HBM3内存仍然是采用12层硅通孔技术，最大容量也是24GB（196Gb），不过带宽提高到了896 GB/s。暂时还不清楚SK海力士的这些HBM3内存是处于原型阶段，还是打算大规模批量生产。

预览var tableid = settableid(); document.write(''); Table().init({ title: "HBM内存规格对比", header: ["型号", "HBM3", "HBM2E", "HBM2"], width: '92%', columnWidth: 'MAX', //表格单元宽度，"MAX"最大内容显示，""AVG"平均，"AUTO"自动，指定[15,16,20] id: tableid, data: [ ["最大容量", "24GB", "16GB", "8GB"], ["堆栈芯片数量", "12", "8", "8"], ["位宽", "1024bit",], ["带宽", "896GB/s", "460.8GB/s", "256GB/s"] ] });此外，三星还将展示速率为27 Gbps的GDDR6，采用了T-coil电路结构，以实现更高的传输速度，比目前最高的24 Gbps产品更快。其容量为2GB（16Gb），与美光的GDDR6X相同。

Computerbase已经从三星那里获得了新一代内存的各种信息，目前DDR5还处于生命周期的初期，频率普遍不是很高，不过随着时间的推移频率是会慢慢上去的，三星认为在不久的将来DDR5的频率就会提升到JEDEC标准的6400Mbps，而超频条的频率可达到8400Mbps，其实现在就已经有厂商把DDR5内存的频率提升到7000Mbps了。

而下一代的DDR6已经在早期开发阶段，未来用于取代DDR5，当然预计至少在2025到2026年后才会推出，DDR4内存至少用了6年，而DDR5到DDR6估计也会差不多的时间。

三星认为未来的DDR6内存的JEDEC标准会达到12800Mbps，而超频条的频率可能会到17000Mbps，甚至可能会突破20000Mbps，目前DDR6的标准各家目前还在一同讨论中，预计在2024年完成。每个模组DDR6内存的通道数和现在的DDR5相比再次翻倍，变成16bit*4，bank数量增加到最多64个。

显存方面，三星透露了速度更快的GDDR6+计划，用于取代现有的GDDR6，三星计划在本月采用1znm开始试产GDDR6+，它的频率能到24Gbps，并会成为下一代GPU的配置，如果真能达到此频率的话拥有320/352/384bit显存位宽的显卡显存带宽就能超过1TB/s，而256bit的GPU的带宽也能到768GB/s。

至于新一代的GDDR7显存，预计可提供高达32Gbps的传输速度，并且会支持实时错误保护技术，但三星并没有对其进行详细说明。而HBM3内存，三星计划会在2022年第二季度开始投产，并表示速度会是800GB/s，将会用在未来的HPC和数据中心GPU/CPU系统中。

其实HBM3的规范是由JEDEC来负责的，而最终规范其实还没公布，SK海力士的HBM3内存可提供两种容量，一个是12层硅通孔技术垂直堆叠的24GB，另一个则是8层堆叠的16GB，展示的样品是12层的，内存频率能达到6400Mbps，而单个堆栈所提供的带宽可达819GB/s，比上一代的HBM2E内存461GB/s提升了许多。

预览var tableid = settableid(); document.write(''); Table().init({ title: "HBM内存规格对比", header: ["型号", "HBM3", "HBM2E", "HBM2"], width: '92%', columnWidth: 'MAX', //表格单元宽度，"MAX"最大内容显示，""AVG"平均，"AUTO"自动，指定[15,16,20] id: tableid, data: [ ["最大容量", "24GB", "16GB", "8GB"], ["内存频率", "6.4Gbps", "3.6Gbps", "2Gbps"], ["堆栈芯片数量", "12", "8", "8"], ["位宽", "1024bit",], ["带宽", "819.2GB/s", "460.8GB/s", "256GB/s"] ] });与HBM2E相比HBM3不仅提供了更高的带宽，还堆叠了更多层数的DRAM来增加容量，HBM3内存还内置了片上纠错技术，显著提高了产品的可靠性。

HBM不太可能在短期内在消费级市场取代传统DRAM内存，因为它的价格实在是太贵了，但在高性能计算领域还是有很大作为的，预计HBM3将会主要被用在高性能数据中心以及机械学习平台上，以提高人工智能水平和超级计算机的性能，可用于气候变化分析和药物开发。