IT之家 9 月 26 日消息,英伟达此前推出了 Hopper H100 GPU,包括两个版本,一个适用于 SXM5 和一个适用于 PCIe,显存容量相同,均为 80 GB,但前者采用全新的 HBM3 标准,而后者采用 HBM2e 标准。
现在根据 s-ss.cc 的消息,NVIDIA 可能正在开发全新的 PCIe 版本的 Hopper H100 GPU。最重要的是,新显卡可能不会配备 80 GB HBM2e,而是 120GB HBM2e 显存。
从下图可以看到,他拿到了一款 ADLCE 的工程样品卡,对于这张卡我们还没有更进一步的消息,不过 120GB 显存的 H100 GPU 就已经能够让人期待了。
新卡应该跟之前的版本相同,包括满血 GH100 GPU,16896 个 CUDA,而且显存带宽将达到 3TB / S,和 SXM 接口版本的 H100 核心与性能一样。
爆料者指出,这款 H100 120GB PCIE 版本的单精度性能与 SXM 版本是相同的,单精度浮点性能约为 60TFLOPS。
GH100 GPU 的完整规格如下:
8 个 GPC,72 个 TPC(9 个 TPC / GPC),2 个 SM / TPC,每个完整 GPU 144 个 SM
每个 SM 128 个 FP32 CUDA 核心,每个完整 GPU 18432 个 FP32 CUDA 核心
每个 SM 4 个第四代 Tensor 核心,每个完整 GPU 576 个
6 个 HBM3 或 HBM2e 堆栈,12 个 512 位内存控制器
60 MB 二级缓存
另外关于 ADLCE 工程样品卡,这应该是 RTX4090 的 ES 工程样品,但是 TDP 被限制在了 350W,所以单精度性能只有 60 多 TFLOPS。
IT之家了解到,H100 于 2022 年 4 月发布,由 800 亿个晶体管组成,并采用了众多开创性的技术,包括强大的全新 Transformer 引擎和 NVIDIA NVLink 互连技术,以加速最大规模的 AI 模型,如高级推荐系统和大型语言模型,并推动对话式 AI 和药物发现等领域的创新。
英伟达表示,H100 使企业能够削减 AI 的部署成本,相较于上一代,在提供相同 AI 性能的情况下,可将能效提高 3.5 倍,总体拥有成本减少至 1/3,所使用的服务器节点数也减少至 1/5。
NVIDIA DGX H100 系统现在也已开始接受客户预定。该系统包含 8 个 H100 GPU,FP8 精度的峰值性能达到 32 PFlops。每个 DGX 系统都包含 NVIDIA Base Command 和 NVIDIA AI Enterprise 软件,可实现从单一节点到 NVIDIA DGX SuperPOD 的集群部署,为大型语言模型和其他大规模工作负载的高级 AI 开发工作提供支持。
全球领先的计算机制造商所提供的搭载 H100 的系统预计将在未来几周内发货,到今年年底将有超过 50 款服务器型号面市,2023 年上半年还将有数十款型号面市。已在构建系统的合作伙伴包括源讯(Atos)、思科、戴尔科技、富士通、技嘉科技、慧与、联想和超微。