据相关媒体报道，全球最大芯片测试机公司Advantest的首席执行官Doug Lefever表示，测试Blackwell架构数据中心GPU所需的时间是Hopper的三到四倍，每个单元在发货前都必须在不同工具上测试数十次。

一般情况下，随着晶体管数量的增加，测试复杂性几乎呈指数级增长，因为芯片需要更多的测试模式和更长的测试时间，其中要涵盖高速互联、应力条件、热条件和多种操作模式等。B100/B200共有2080亿个晶体管，整合了两个独立制造的Die，使用了NVLink 5.0技术来连接两块芯片，理论上测试时间要翻倍。

测试中，需要分别测试计算小芯片和内存小芯片（尽管DRAM制造商会测试HBM3堆栈），然后这些小芯片被添加到其RDL中介层时多次测试GPU。此外，台积电的CoWoS-L 2.5D封装技术引入了额外的测试步骤（有时是多个测试阶段），以确保封装中的每个组件都正常工作并且互连可靠。虽然不知道确切的测试次数，但是比起以往的H100要多得多。

Blackwell架构产品的较长测试时间反映了用于AI和HPC的高性能芯片在设计上变得日益复杂，而且需要更广泛的验证，以确保在各种数据中心环境中与其他组件一起工作时的性能和可靠性，对业界提出了更高的挑战。

据TrendForce报道，微软已经成为今年英伟达Hopper架构数据中心产品的最大买家，采购量预计将达到500,000个单位，数量是第二大买家的两倍。其他主要买家还包括Meta、亚马逊、谷歌，以及中国的字节跳动和腾讯。这反映了人工智能（AI）的迅猛发展推动了市场对旗舰级数据中心GPU的强劲需求，也使得富士康、广达和纬颖科技等中国台湾的供应链厂商受益。

虽然微软已经获得了充足AI芯片，但是还要面临电力供应的难题。最近微软首席执行官Satya Nadella在接受采访时表示，电力供应才是数据中心的主要瓶颈，并非大家所想的制造商“限量供应”芯片问题。

不过最近有报道称，基于Blackwell架构的GB200在量产种遇到了新的技术问题，为此微软选择削减了40%的订单，并将部分订单分配到2025年中期发布的GB300上。此外，微软自己也有自研芯片项目，以减少对英伟达的依赖。

在2025财年第二财季里，数据中心业务占据了英伟达接近88%的营收，优于其他业务，其中大概90%来自Hopper平台的贡献，包括H100、H200、H20、以及整合了Grace CPU的GH200解决方案，主要针对HPC（高性能计算）特定应用AI市场。英伟达对H100采取了不降价的策略，等旧订单出货完成后，将以H200取代。

随着市场对搭载H200的AI服务器需求提升，将填补Blackwell新平台因生产问题导致的延迟，这将保证英伟达今年下半年的数据中心业务收益不会受到影响。预计Blackwell平台明年将会放量，台积电（TSMC）上调了至2025年底的CoWoS封装产能，有望接近70-80K，相比2024年产能翻倍，其中英伟达将占超过一半以上的产能。

H200是首款采用8层堆叠HBM3E的GPU，后续的Blackwell系列芯片也会全面应用HBM3E。美光和SK海力士在2024年第一季度已完成了HBM3E的验证，并于第二季度批量出货。其中美光的HBM3E用于H200，SK海力士的HBM3E则同时用于H200和B100。三星的HBM3E已完成验证并开始出货，首批同样是8层堆叠产品，主要用于H200，同时Blackwell系列的验证工作也在稳步推进。

据TomsHardware报道，英伟达在一份声明中表示，对Blackwell架构GPU的掩膜进行了改动，以提高产量。Blackwell架构产品的产量增长计划始于今年第四季度，并持续到2026财年，预计第四季度Blackwell产品的营收将达到数十亿美元。目前市场对当前一代的Hopper架构产品需求依然强劲，今年内仍然是英伟达数据中心产品线的主力。

英伟达表示，在今年第二季度与客户一起试用Blackwell架构GPU时发现问题，并承认不得不生产“低产量的Blackwell材料”，以满足Blackwell架构芯片的需求，这也影响了公司的毛利率。目前英伟达已经对Blackwell架构芯片进行了所有必要的修改，也不会影响GPU任何功能，只是为了在第四季度可以进入大规模生产阶段，确保B100和B200的稳定供应。

据了解，基于Blackwell架构GPU打造的B100和B200是首批采用台积电CoWoS-L封装的产品，其使用RDL中间层与LSI桥接器连接小芯片，可实现约10Tb/s的数据传输速率。生产时这些组件需要精确放置，然而GPU芯片、RDL中间层、LSI桥接器、以及基板之间的热膨胀系数（CTE）不匹配，容易导致翘曲和系统故障。为此英伟达不得不重新设计GPU芯片的顶层金属层和凸块，以提高良品率。不过英伟达没有提供任何修复的细节，只是简单地以创建新的掩膜解释。

暂时还不能确定今年第四季度的Blackwell产品出货量，由于涉及“数十亿美元”，这些不确定性也间接造成了英伟达股价的波动。

据Wccftech报道，H20现身Geekbench 6数据库，显示其配备了78组SM。搭载GH100芯片完整的配置为144组SM，不过实际的H100产品中没有全部打开，其中SXM5版本中启用了132组SM，而PCIe 5.0版本则启用了114组SM。相比最高配置的H100，H20的内核数量减少了41%。H20配备了96GB的HBM3，高于H100 80GB版本，不过低于后来推出的新版H100，拥有144GB HBM3E。同时H20的带宽为4.0 TB/s，低于顶级解决方案的8.0 TB/s。

性能方面，INT8为296 TFLOPS，FP16为148 TFLOPS，TF32为74 TFLOPS，FP32为44 TFLOPS，而FP64只有1 TFLOPS。此外，H20配有60MB的L2缓存，支持多达7个多实例GPU，8路HGX配置，900 GB/s的NVLink带宽，TDP为400W。

在OpenCL基准测试中，H20的成绩为248,992分，H100 80GB版本在同一测试中的成绩大概在280,000分，如果是拥有132组SM的H100可以提高至350,000分左右，至于配备144GB HBM3E的H100分数就更高了。

最近有报道称，H20计算卡仍然有着不错的销售前景，受到了客户的欢迎，预计2024年英伟达将向中国出售超过100万块H20，每块售价大概在1.2万至1.3万美元，意味着销售额将达到120亿美元以上，这将超过上一个财年英伟达在中国的总收入。

据相关媒体报道，有分析师表示，在更为严格的限制下，H20计算卡仍然有着不错的销售前景，受到了客户的欢迎，预计2024年英伟达将向中国出售超过100万块H20，每块售价大概在1.2万至1.3万美元（约合人民币87220.8至94489.2元），意味着销售额将达到120亿美元以上，这将超过上一个财年英伟达在中国的总收入。

国内不少科技公司以往都基于英伟达的CUDA生态系统构建对应的应用，如果要转向其他架构，既昂贵又耗时，尽管比起H100或者H800要慢，但是考虑到完善的体系支持，H20仍旧是许多企业默认的选择。

事实上，出口限制严重影响了英伟达在中国的业务，使得收入占比不断减少。目前中国仅占英伟达总收入的9%，而去年同期为22%。H20反映了英伟达为保持中国市场的存在所做的努力，这也是有回报的，数据显示收入占比下降的同时，最近一个季度在中国市场获得的收入同比增长超过了50%，达到了25亿美元。

H200配备了141GB的HBM3e内存，运行速率约为6.25 Gbps，六个HBM3e堆栈为每个GPU带来4.8 TB/s的总带宽。原有的H100配备80GB的HBM3，对应的总带宽为3.35 TB/s，这是一个巨大的进步。相比于H100的SXM版本，H200的SXM版本将内存容量和总带宽分别提高了76%和43%。不过从原始计算能力来说，H200不会有太大的变化，只是在个别应用场景里会受益于更大的内存配置。

这次英伟达还带来了GH200，结合了H200 GPU和Grace CPU，将Hopper架构GPU和Arm架构Grace CPU结合，使用了NVLink-C2C将两者连接起来。每个Grace Hopper Superchip芯片平台包含了624GB的内存，其中有144GB的HBM3e和480GB的LPDDR5x内存。

瑞士国家超级计算中心的Alps超级计算机很可能是明年首批投入使用的Grace Hopper超级计算机之一，不过仍然采用的是GH100。第一个在美国投入使用的GH200系统将是洛斯阿拉莫斯国家实验室的Venado超级计算机，德州高级计算中心（TACC）的Vista系统同样采用了Grace Hopper Superchip，不过不清楚是否是GH200。

目前已知采用GH200最大的超级计算机来自于Jϋlich超级计算中心的Jupiter，里面将装入近24000个GH200芯片，人工智能计算性能为93 ExaFLOPS，另外还将提供1 ExaFLOPS的传统FP64计算性能。

Isambard-AI超算系统基于HPE Cray EX架构构建，拥有近25PB的存储空间，使用Cray Clusterstor E1000和HPE Slingshot 11互连。在散热设计上，Isambard-AI超算系统将使用先进的液冷散热技术和热再利用模型，除了为芯片散热，还能为当地建筑物供暖。

这次使用的GH200 Grace Hopper Superchips是英伟达今年8月发布的顶尖数据中心产品，由Hopper架构GPU和Arm架构Grace CPU相结合，使用了NVLink-C2C，将两者连接起来。该芯片拥有72个Arm v9架构CPU内核，GPU方面与H100计算卡一致，即16896个FP32 CUDA核心，配备了HBM3e。不过暂时还不确定，Isambard-AI所使用的是96GB还是141GB版本。

布里斯托尔大学教授、Isambard国家研究机构主任Simon McIntosh-Smith表示，Isambard-AI超算系统计划在2024年晚些时候投入使用，提供超过21 ExaFLOPS的人工智能推理和训练工作负载，将成为开放科学领域最强大的人工智能系统之一。除了超算系统的投资外，英国政府还将投入7500万英镑，用于创建国家人工智能研究资源中心。

需要用到GH100芯片的产品包括H100计算卡和GH200 Grace Hopper等，这些高端产品想提高供应量并不是一件容易的事，涉及到供应链的每一个环节，比如英伟达和台积电最近一段时间就为CoWoS封装产能而烦恼。何况GH100本来就是设计非常复杂的芯片，想大规模制造相当困难。如果想大幅度提升产量，需要突破几个瓶颈。

首先，要保证GH100的产量，英伟达需要台积电增加定制4N工艺的产能。据粗略统计，目前每块300mm晶圆最多可以生产65颗GH100芯片。如果英伟达想将产量提高到200万颗，那么需要约3.1万块晶圆，对于台积电每月15万块5nm制程节点的产能来说是可行的。

其次，英伟达依赖于台积电的CoWoS封装，目前的产能是远远不够的，这也是为什么英伟达考虑让三星分担部分封装订单的原因之一。

再次，GH100需要HBM2E、HBM3和HBM3E，英伟达需要获得足够数量的HBM，可能需要从三星、SK海力士和美光同时采购。

最后，英伟达的合作伙伴能够将基于GH100芯片打造产品装入到服务器，不但考验合作伙伴的输出，而且市场要一直保证足够的需求量。

如果所有条件都成立，那么明年英伟达将获得更加巨额的利润

相比目前使用的HBM3，新一代HBM3e有着50%的速度提升，双路系统提供了高达10TB/s的带宽，也就说每堆栈可以提供5TB/s的带宽。GH200 Grace Hopper Superchip是将Hopper架构GPU和Arm架构Grace CPU结合，使用了NVLink-C2C，将两者连接起来。其拥有72个Arm v9架构CPU内核，GPU方面应该和H100计算卡一致，即16896个FP32 CUDA核心。新款芯片打造的双路系统将拥有144个Arm v9架构CPU内核，282GB的HBM3e，带来8 Petaflops的AI计算性能。

英伟达表示，新的平台旨在处理世界上最复杂的生成式人工智能工作负载，涵盖大型语言模型、推荐系统和矢量数据库，可用于各种配置。英伟达计划销售两种版本：一种版本包含了两个可供客户集成到系统中的芯片，另一种版本是结合了两种Grace Hopper设计的完整服务器系统。

此外，英伟达也会将HBM3e用于Hopper架构的GH200计算卡，预计会在2024年第二季度到来，会比竞争对手AMD的Instinct MI300X晚一些，后者通过HBM3提供了5.2TB/s的带宽，容量为192GB。

据Wccftech报道，DGX GH200超级计算机的AI性能达到了1 Exaflop级别，其包括了256个GH200 Grace Hopper芯片，共享144TB内存，首次引入了新的NVLink Switch拓扑结构来构建整个超级计算机集群。英伟达表示，新结构的提供了比前一代系统更高的带宽，GPU到GPU和CPU到GPU分别高出了10倍和7倍，相比竞争对手的产品，互连能耗效率高出了5倍。

Grace Hopper是将Hopper架构GPU和Arm架构Grace CPU结合，使用了NVLink-C2C，将两者连接起来。其拥有72个Arm v9架构CPU内核，GPU方面应该和H100计算卡一致，即16896个FP32 CUDA核心，配备了96GB的HBM3和512GB的LPDDR5X内存。通过强力的CPU+GPU组合，无论是HPC还是AI计算，CPU和GPU可以更好地对工作负载进行协调分配，以达到最佳效率。

此外，英伟达确认明年将推出Hopper-Next GPU，用于高性能计算和AI任务，不过没有透露具体的细节。此前有报道称，其代号为“Blackwell”，数据中心产品采用MCM封装，选用台积电（TSMC）3nm工艺制造。从时间节点来看，与英伟达每两年更新一次架构的计划相吻合。

据相关媒体报道，英伟达今年采用了相同的方法，将普通H100 PCIe型号的互连速率减掉大概一半左右，推出了H800系列计算卡，以供中国市场。相比于正常的H100产品，由于被限制导致输出减慢，在某些大型模型训练里的延迟会增加，降低了工作负荷。

有媒体联系英伟达了解情况，询问H100和H800之间的区别，不过英伟达没有给出正面回应，解释其中的差别，仅表示H800系列计算卡完全符合出口管制法规。

完整的GH100芯片配置了8组GPC、72组TPC、144组SM、共18432个FP32 CUDA核心。其采用了第四代Tensor Core，共576个，并配有60MB的L2缓存。有不过实际产品中没有全部打开，其中SXM5版本中启用了132组SM，共16896个FP32 CUDA核心，528个Tensor Core以及50MB的L2缓存，而PCIe 5.0版本则启用了114组SM，FP32 CUDA核心数量只有14592个。此外，前者的TDP达到了700W，后者则为350W。

此外，H100支持英伟达第四代NVLink接口，可提供高达900 GB/s的带宽。同时H100是第一款支持PCIe 5.0标准的GPU，也是第一款采用HBM3的GPU，最多支持六颗HBM3，带宽为3TB/s，是A100采用HBM2E的1.5倍，默认显存容量为80GB。

据TomsHardware报道，英伟达已经将GeForce RTX 4090的产能转移到基于Hopper架构的H100计算卡上，这可能与近期美国某些新措施有关，导致英伟达决定转移产能。目前英伟达的出口许可证可以让其继续出口A100和H100计算卡，暂时截止时间为2023年3月1日。估计英伟达会在这个时间节点之前，尽可能地销售A100和H100计算卡。

对于台积电（TSMC）而言，这并不是什么困难的事，毕竟英伟达定制的4nm工艺仍属于5nm制程节点，在特定的分配范围内转移生产没有什么问题。不过从英伟达的角度来看，情况则有些不一样了，这意味着销售方向的改变，最终对研发也会有所影响。从普通玩家的角度，有可能意味着市场上GeForce RTX 40系列的供应量会减少，市场上更多地出现缺货情况，价格也会居高不下，且新产品线的部署速度会减慢。

由于GeForce RTX 30系列的库存较高，英伟达也可以适当地将Ada Lovelace架构主流型号的出货时间延后，给合作伙伴更多的时间出货。从财务上看，英伟达也需要尽可能保证数据中心业务的收入，以减少因游戏业务收入下滑及新措施造成的损失。

据s-ss的报告，英伟达正在开发一款H100 120GB PCIe版计算卡，比现有的H100 80GB PCIe版计算卡增加了40GB显存，不过不确定到底使用的是HBM2e还是HBM3，属于PCIe外形。

据了解，这张H100 120GB PCIe版计算卡搭载的GH100芯片配置高于现有PCIe版本的114组SM、14592个FP32 CUDA核心，而是与SXM版本相同的芯片，即132组SM，共16896个FP32 CUDA核心，528个Tensor Core以及50MB的L2缓存。这使得H100 120GB PCIe版的单精度性能与SXM版本看齐，单精度浮点性能约60TFLOPS。不知道H100 120GB PCIe版的功耗会是多少，目前H100 80GB PCIe版为350W，而H100 80GB SXM5版为700W。

此外，GH100芯片面积大概为814mm²，支持英伟达第四代NVLink接口，可提供高达900 GB/s的带宽。同时GH100是第一款支持PCIe 5.0标准的GPU，也是第一款采用HBM3的GPU，最多支持六颗HBM3，带宽为3TB/s，是A100采用HBM2E的1.5倍。

照片上显示设备中还有一款GeForce RTX ADLCE工程样品，虽然没有标明，但可以了解到属于Ada Lovelace架构GPU。据称其TDP被限制在350W，单精度性能只有63至70TFLOPS（正常版本为82TFLOPS）。