英伟达Vera Rubin每兆瓦所能达到的吞吐量, 是GB300的30倍, 成本仅仅只需三分之一五, 这项数据使得AI算力的经济性迎来了剧变。

每兆瓦吞吐量是什么

衡量AI数据中心能效的核心指标是每兆瓦吞吐量, 在固定电力额度下, 它能产出不少AIToken这是它的数据承载力体现, 作为评判指标它直接决定运营方在计算成本以及扩展能力方面的情况。

过往, 数据中心更为着重峰值算力, 然而如今, 电力配额以及运营成本则变成了关键瓶颈。每一兆瓦吞吐量越大, 相同的电费预算便可支撑更多模型推理任务, 这针对大规模智能体部署来讲尤为关键重要。

Vera Rubin有多强

Vera Rubin NVL72于V4 Pro模型之上, 呈现出令人震惊之性能, 相较于GB300 NVL72方案, 其每兆瓦吞吐量提高了整整30倍, 这表明在相同电力状况之下, 算力产出呈指数级增长。

与此同时, 每百万Token的成本下降到了GB300的三十五分之一, 这般降幅于AI硬件迭代的历程当中是极为少见罕有的, 运营方可以用更低的电力达成更多的智能体推理任务。

智能体编程推理负载测试

英伟达借助Vera Rubin V4 – PRO 1.6T模型核查智能体编程推理方面的那些工作负载, 此项测试着重考查于四项目标指向的指标, 去模拟处于真实商业情景里的始终持续运行的表现情况。

对测试结果予以显示, 当采用GB300 NVL72 Grace服务器方案之际, 每兆瓦吞吐量对H200 NVL8方案而言, 已然是其15倍之多。并且, Vera Rubin于这个状况之上, 再度攀升至30倍 , 从而彻彻底底地将代际差距予以拉开。

成本优势意味着什么

在每百万Token成本降低至原来三十五分之一的情况下, 直接对AI服务定价逻辑加以改写, 营运方可凭借同样的基础设施预算支持更多智能体运行, 或者通过更低成本来维持现有的容量。

对于那种有着持续运行大规模智能体需求的企业来讲, 这项实现的进步, 把电力方面以及硬件方面存在的双重顾虑去除掉了。低成本这般情况意味着能够更快地达成盈利目的, 并且还使得更多的中小企业能够使用上高效的AI服务。

数据中心规划面临重构

过去, 数据中心设计是以峰值算力作为导向的, 而如今, 电力预算与算力产出之间的匹配关系必须要重新进行评估。Vera Rubin具备的能效表现, 可使同样的机房、同样的电费能够支撑更高密度的业务。

据行业专家预测, 在未来, 那种被称作IDC招标的活动, 会把每兆瓦吞吐量当作核心参数来对待。这一情况使得芯片厂商的竞争焦点, 从原本单纯的算力方面, 转而朝着能效比方向转变, 进而促使整个产业链在发展升级过程得到加快。

未来智能体经济前景

随着成本极为显著地下降, 智能体将不会再被限制于头部企业的实验室, 中小公司也能够布置成百还上千个Agent去处理客户服务、研发以及数据分析等多个场景。

Vera Rubin所取得的能效突破, 为智能体经济筑牢了根基。一旦推理成本无限近似于零, 人工智能便会从辅助的工具摇身一变成为全天候自主运行的执行系统, 进而全方位重塑各个行业里的工作流程。

Vera Rubin给予你最为满心惊喜之感的那个参数究竟是什么呢, 欢迎于评论区域之中去分享你自身的切实看法, 同时, 点赞以及分享能够使得更多的同行看到这场具备算计能力层面的革命。