芝能智芯出品

Vera Rubin NVL72这个阶段，英伟达正在接管供电、液冷和数据中心设计。

过去购买 GPU，像是购买一台发动机：服务器厂商负责把它装进机器，数据中心负责供电、网络和冷却。

到了 NVIDIA Vera Rubin NVL72，交付物已经更像一辆完整赛车,甚至连维修方式和赛道条件都一起规定好了。

一套 NVL72 机架包含 72 颗 Rubin GPU、36 颗 Vera CPU、NVLink 6 交换芯片、ConnectX-9 网卡和 BlueField-4 DPU。

72 颗 GPU 通过机架内 NVLink 组成一个高速计算域，每颗 GPU 的 NVLink 带宽为 3.6TB/s，整套 NVLink 交换带宽达到 260TB/s。

对软件来说，它不再是 72 张通过普通网络松散连接的显卡，而更接近一台拥有巨大统一通信结构的超级计算机。

为什么大模型需要"机架内高速公路"

一个超大模型往往不能装进单颗 GPU。参数、激活值和专家模块分布在几十甚至上百颗芯片上，每生成一个 Token，都可能需要跨芯片交换数据。

如果芯片计算只用一毫秒，通信却要等待数毫秒，增加 GPU 反而可能让系统更慢。NVLink 的目标，就是把机架内部变成高带宽、低延迟的 scale-up 域，让多个 GPU 更像一颗更大的加速器。

Rubin GPU 单颗配备 288GB HBM4，带宽 22TB/s；72 颗合计拥有约 20.7TB HBM4 和 1580TB/s 内存带宽。数字极其庞大，但它们也说明系统的难点：数十颗高功耗 GPU、上千颗 HBM 裸片和大量交换芯片必须同时稳定工作。

供电为什么成为芯片架构的一部分

AI 机架功率越来越高，传统数据中心的交流配电和机架内转换会占用空间、产生损耗。NVIDIA 在 Hot Chips 演讲中讨论了 800V 直流供电和机架级电力平滑，通过本地储能吸收 GPU 负载的瞬时波动。

大模型训练和推理并不是恒定功耗。所有 GPU 同时进入高负载或通信阶段，会让电网看到陡峭波动。电力系统若按最高瞬时功率预留，成本很高；如果预留不足，又可能触发保护。

NVIDIA 宣称其方案可降低约 13% 的峰值功率，并在相同供电预算下容纳最多约 40% 更多 GPU。这些仍属于厂商披露，实际收益取决于负载和数据中心条件。

以后评估 AI 芯片，不仅要看芯片 TDP，还要看整座机架如何从电网取电、怎样处理负载突变，以及多少电最终变成有效 Token。

45℃的"热水"也能给GPU降温

NVL72 采用全液冷设计，支持 45℃进水。听起来温度很高，但关键不在水是否冰冷，而在它是否仍比芯片冷，并能够持续带走热量。

较高进水温度使数据中心在适宜气候下使用干式冷却器，减少或取消高耗能冷水机组，也能降低用水。NVIDIA 还把计算托盘做成无风扇、无软管、少线缆的模块，简化工厂装配和现场维护。

这不是外观工程。几万颗 GPU 的集群中，安装时间、接头泄漏、风扇故障和线缆插错都会转化成停机与运维成本。机架设计越标准化，NVIDIA 的合作伙伴就越容易批量复制"AI 工厂"。

算力建设不等于采购加速卡

NVL72 对国内行业最重要的提醒，是不要把算力建设等同于采购加速卡。

大型集群需要高压配电、液冷，网络、存储、机柜制造、监控软件和维护体系共同匹配。缺少其中任何一项，高价芯片都可能因为供电不足、通信拥塞、温度过高或故障恢复太慢而无法满负荷运行。

国产 AI 平台要竞争，也不能只推出一颗芯片。客户越来越需要经过验证的服务器、机架、网络拓扑、液冷方案、集群软件与应用性能。谁能对"每兆瓦产生多少 Token、第一次响应需要多久，多久发生一次中断"负责，谁才拥有平台价值。

小结

NVIDIA 的目标是定义整座数据中心该怎样建。芯片战争因此进入了一个更重的阶段：制程依然重要，但电力、热量、机械结构和运维同样成为计算架构。

       原文标题 : Hot Chips 2026 | 下一代AI产品不是GPU，而是一座机架