11月14日消息，英伟达（Nvidia）于当地时间13日上午在 “Supercomputing 23”会议上正式发布了全新的H200 GPU，以及更新后的GH200 产品线依然是建立在现有的 Hopper H100 架构之上，但增加了更多高带宽内存（HBM3e），从而更好地处理开发和实施人工智能所需的大型数据集，
.35 TB/s 带宽）相比，这是一个巨大的改进，HBM容量提升了超过76%。官方提供的数据显示，在运行大模型时，H200相比H100将带来60%（GPT3 175B）到90%（Llama 2 70B）的提升。虽然H100 的某些配置确实提供了更多内存，例如 H100 NVL 将两块板配对，并提供总计 188GB 内存（每个 GPU 94GB），但即便是与 H100 SXM 变体相比，新的 H200 SXM 也提供了 76% 以上的内存容量和 43 % 更多带宽。
那么更多的高带宽内存究竟带来了哪些提升呢？这将取决于工作量。对于像 GPT-3 这样的大模型（
）来说，将会大大受益于HBM内存容量增加。英伟达表示，H200在运行GPT-3时的性能，将比原始 A100 高出 18 倍，同时也比H100快11倍左右。还有即将推出的 Blackwell B100 的预告片，不过目前它只包含一个逐渐变黑的更高条，大约达到了H200的两倍最右。
英伟达表示，通过推出新产品，他们希望跟上用于创建人工智能模型和服务的数据集规模的增长。增强的内存能力将使H200在向软件提供数据的过程中更快速，这个过程有助于训练人工智能执行识别图像和语音等任务。“整
合更快、更大容量的HBM内存有助于对运算要求较高的任务提升性能，包括生成式AI模型和高效能运算应用程序，同时优化GPU使用率和效率”，NVIDIA高性能计算产品副总裁Ian Buck表示。
英伟达数据中心产品负责人迪翁·哈里斯(Dion Harris)表示：“当你看看市场上正在发生的事情，你会发现模型的规模正在迅速扩大。这是我们继续迅速引进最新和最优秀技术的又一个例子。”预计大型计算机制造商和云服务提供商将于2024年第二季度开始使用H200。英伟达服务器制造伙伴（包括永擎、华硕、戴尔、Eviden、技嘉、HPE、鸿佰、联想、云达、美超威、纬创资通以及纬颖科技）可以使用H200更新现有系统，而亚马逊Google、微软、甲骨文等将成为首批采用H200的云端服务商。
鉴于目前市场对于英伟达AI芯片的旺盛需求，以及全新的H200增加了更多的昂贵的HBM3e内存，因此H200的价格肯定会更昂贵。英
伟达没有列出它的价格，但上一代H100价格就已经高达25,000美元至40,000美元。英伟达发言人Kristin Uchiyama指出，最终定价将由英伟达制造伙伴制定。
至于H200推出后，会不会影响H100生产，Kristin Uchiyama则表示：“你会看到我们全年的整体供应量有所增加”。
一直以来，英伟达的高端AI芯片被视为高效处理大量数据和训练大型语言模型、AI生成工具最佳选择，在发表H200之际，AI公司仍在市场上拼命寻求A100/H100芯片。市场关注的焦点仍在于，英伟达能否向客户提供足够多的供应，以满足市场需求。因此，H200是否还是会像H100一样供不应求？对此NVIDIA并没有给出答案。
不过，明年对GPU买家来说可能将是一个更有利时期，据《金融时报》8月报导曾指出，NVIDIA计划在2024年将H100产量提升三倍，产量目标将从2023年约50万个增加至2024年200万个。但生成式AI仍在蓬勃发展，未来需求也可能会更大。
计划提升Gaudi AI芯片的HBM容量，最新公布的信息显示，Gaudi3基于5nm工艺，在BF16工作负载方面的性能将是Gaudi2的四倍，网络性能也将是其的两倍（Gaudi2有24个内置的100 GbE RoCE Nic），HBM容量是Gaudi 2的1.5倍（Gaudi 2有96 GB的HBM2E）。正如我们在下图中所看到的，Gaudi 3转向了具有两个计算集群的基于chiplet的设计，而不是英特尔为Gaudi 2使用的单芯片解决方案。
一代 AI 超级计算机提供动力除了全新的H200 GPU之外，英伟达还带来了更新后的GH200超级芯片，它使用NVIDIA NVLink-C2C芯片互连，结合了最新的H200 GPU 和 Grace CPU（不清楚是否为更新一代的），每个 GH200超级芯片还将包含总计 624GB 的内存。
我们只能假设 x86 服务器运行的是未完全优化的代码，特别是考虑到人工智能世界正在快速发展，并且优化方面似乎定期出现新的进展。全新的GH200 还将用于新的 HGX H200 系统。据说这些与现有的 HGX H100 系统“无缝兼容”，这意味着 HGX H200 可以在相同的安装中使用，以提高性能和内存容量，而无需重新设计基础设施。据介绍，瑞士国家超级计算中心的阿尔卑斯超级计算机（Alps supercomputer）可能是明年第一批投入使用的基于GH100的Grace Hopper 超级计算机之一。第一个在美国投入使用的 GH200 系统将是洛斯阿拉莫斯国家实验室的 Venado 超级计算机。德克萨斯高级计算中心 (TACC) Vista 系统同样将使用刚刚宣布的 Grace CPU 和 Grace Hopper 超级芯片，但尚不清楚它们是基于 H100 还是 H200。
目前，即将安装的最大的超级计算机是Jϋlich超级计算中心的Jupiter 超级计算机。它将容纳“近”24000 个 GH200 超级芯片，总共 93 exaflops 的 AI 计算（大概是使用 FP8，虽然大多数 AI 仍然使用 BF16 或 FP16）。它还将提供 1 exaflop 的传统 FP64 计算。它将使用具有四个 GH200 超级芯片的“Quad GH200”板。
总的来说，英伟达预计这些新的超级计算机的安装将在未来一年左右实现超过 200 exaflops 的 AI 计算性能。
(责任编辑：)关键词: