英伟达发布 H200 NVL 与 GB200 NVL4 新品
编译/前方智能
英伟达于 2024 年 11 月 18 日在亚特兰大举行的 SC24 高性能计算大会上宣布推出新款数据中心级 GPU —— H200 NVL,以及更强大的四 GPU 产品 GB200 NVL4 Superchip,进一步扩展其在 AI 和高性能计算领域的优势。
图源:英伟达
H200 NVL 是英伟达 Hopper 系列的最新成员,专为低功耗、风冷机架设计的数据中心打造。据调查显示,约 70% 的企业机架功率在 20 千瓦以下,采用风冷方案。H200 NVL 采用 PCIe 接口设计,让数据中心能够灵活配置 GPU 数量,可选择使用一个、两个、四个或八个 GPU,从而在有限空间内实现更强大的计算能力。
与前代产品 H100 NVL 相比,H200 NVL 在性能方面实现了显著提升:内存效率提高 1.5 倍,带宽提升 1.2 倍。在大语言模型推理方面,性能最高可提升 1.7 倍;在高性能计算工作负载方面,相比 H100 NVL 性能提升 1.3 倍,较 Ampere 架构产品提升 2.5 倍。
新品还搭载了最新一代 NVLink 技术,GPU 间通信速度比第五代 PCIe 快 7 倍。每片 H200 NVL 配备 141GB 高带宽内存,内存带宽达到 4.8TB/s,热设计功耗最高为 600 瓦。值得一提的是,H200 NVL 还附带为期五年的 NVIDIA AI Enterprise 软件平台订阅服务。
图源:英伟达
同时发布的 GB200 NVL4 Superchip 是一款更为强大的产品,集成了两个基于 Arm 的 Grace CPU 和四个采用 Blackwell 架构的 B200 GPU。该产品具备 1.3TB 的一致性内存,通过 NVLink 在四个 B200 GPU 间共享。与上一代 GH200 NVL4 相比,在 MILC 代码模拟工作负载上速度提升 2.2 倍,在训练 3700 万参数的 GraphCast 天气预报 AI 模型时快 80%,在使用 16 位浮点精度运行 70 亿参数的 Llama 2 模型推理时同样快 80%。