新基准瞄准的是AI智能体而非单次请求

6月12日英伟达所发布的AA – 基准测试结果，使得整个行业顿时眼前一亮, GB300 NVL72在每秒20个token以及每秒60个token这两档服务标准之下, 每兆瓦并发智能体数均大约是H200的20倍, 这个数字并非单纯的性能炫耀, 而明确地指向2026年AI负载的根本变化。

智能体跑起来时负载与老基准完全不同

在以往, 基准测试仅仅关注单次去请求时所具备的吞吐量, 然而现今AI智能体的工作形态全然已然并非仍旧依袭此这般模式。对于一个智能体而言, 若要达成完成一项复杂的任务, 通常往往是就需要经由多达几十次甚至是上百次的大模型调用才行, 并且每一次调用时都将会带着携带着越发越来越长的上下文, 与此同时在中间环节之中还得要穿插着编译、查库以及跑搜索等诸种工具调用。

此类链式调用针对系统的压榨形式全然有别于单次请求, 长会话里的重复前缀, 工具结果致使上下文爆满, 而输出仅有几百个token, 这些皆是老基准压根测不出的压力之处, 调度器以及显存层级务必承受住这种时长忽长忽短的节奏。

AA-基准用真实轨迹回放取代合成数据

AA-的做法十分径直, 并非投喂那种长度恒定的合成提示词, 而是回放真实的编程智能体轨迹, 这些轨迹源自智能体去解决真实代码仓库里的问题, 涵盖 12 种以上编程语言, 一段会话最长可达 200 轮, 上下文能轻易突破 10 万 token。

是那一轮轮不断累积起来的工具输出以及对话历史, 而非提示词自身, 才真正将长度给撑起来的。这样的设计使得测试结果更吻合真实生产环境, 暴露出老基准所无能为力的性能瓶颈。

锁死服务标准测量真实并发能力

AA-不搞虚假的, 首先锁定服务标准, 即每个智能体的输出速度要达到要求, 首字延迟也要符合标准, 然后查看系统守住这条线时最多能够承受多少个智能体。这套标准划分成了好几个档次, 从每秒20个token的能够满足使用的档次, 到每秒180个token的极为快速的档次。

达标区域当中绿点存在, 一旦出现并发堆高情况, 并且速度跌破对应门槛的时候, 并发出的上限就是此套系统斩获的成绩。与此同一时间, 它始终密切注视输出质量好坏情况, 绝对不能让依靠把回答质量降低作为代价去换取并发数的优化发生, 切实保证每一项进步都能够被如实进行测量。

GB300 NVL72每兆瓦撑起61400个并发智能体

在一场呈现当下最为强悍且属于前沿范畴的混合专家模型的测试当中, GB300 NVL72每兆瓦能够支撑起高达61400个并发智能体, 就平均状况而言, 每一块GPU承担起57.5个。依据这两个具体的数据, 直接能够展开自我电量预算换算, 明确其能够运行起规模多大的智能体应用。

规律清晰呈现: 机架级系统具有天然更低廉的成本, 能够将推理进行离散布置并分摊到数目更多的卡上, 无论涉及到纯粹的算力指标抑或是每兆瓦的能源利用效率方面, 相较于单节点均具备显著的优势。从H200到GB300的这一跨越过程, 使得系统所能承受的并发数量直接提升至一个全新的层级。

硬件互联与软件栈共同铸就系统级胜利

GB300 NVL72的关键之处在于, 将72块GPU通过NVLink连接成为一个机架级别的整体, 模型能够完整地摊开, 专家能够分配到一整片GPU上进行并行执行, 而并非全部挤在单卡之中白白消耗, CUDA核心对跨专家通信以及计算重叠进行了优化, 使得协调开销被算力所吞噬。

NVLink – LLM会来负责在并发会话增多之际稳住效率, 将输入处理以及输出生成进行拆分并各自予以优化, 把七十八块卡焊接成为一个具备高带宽的整体, 每一块GPU都能够极为迅速地共享参数、KV cache以及中间结果, 这才是六万个智能体得以协同运行起来的底气所在。

需要留意的是, 6万这个数值乃是基于基准定义所进行的并发会话模拟, 每一个智能体均按照预先录制好的轨迹行进, 工具调用同样是以固定CPU耗时来模拟, 这与真实存在的生产环境并不能直接划等号, 英伟达也着重表明这是一份处于快速变动状态的前沿快照, 其成绩会随着软件的优化而持续上升。

当下你认为自身数据中心那儿现有之时电力预算量, 究竟能够支撑运行起来多少数量这般样子、这般形态的这等AI智能体部件呢, 是这样吗?