AI资讯

英伟达 Vera CPU 专为智能体 AI 场景设计,提升单线程表现

智能摘要

智能体(Agents)在沙箱中运行代码、调用工具、检索上下文、与数据库交互以及分析结果,然后再将信息返回给模型。核心采用前端、核心中段、执行引擎和缓存子系统四部分设计。线程,目标是在单线程高负载与更高线程密度两类场景间切换,并降低线程间资源争用。AI、分析、图计算与强化学习负载供数。

由英伟达新近发布的Vera CPU, 将AI智能体原本的运行逻辑彻底予以改变, 往昔之时关键任务是由GPU来承担的, 如今则有大量执行路径给转移到了CPU之上, 如此一来CPU不再充当配角的这么一个角色, 而是摇身一变成为处理复杂逻辑的核心大脑了。

英伟达 Vera CPU 专为智能体 AI 场景设计,提升单线程表现

智能体, 要在沙箱里运行代码, 要调试工具, 要查询数据库, 这些操作, 极其仰仗CPU之于单线程的性能, Vera CPU是专门为这般高负载场景, 精心打造而成的, 目的在于解决传统架构处理此类任务之际所遭遇的瓶颈问题。

这一款处理器具备88个核心以及176个线程, 其设计极为激进, 它着重突出在满负载状况下的单线程表现, 与此同时兼顾多核并行能力, 这样的设计致使它在处理复杂的智能体决策之际, 既能够做到快又能够实现稳, 进而减少资源争用。

英伟达 Vera CPU 专为智能体 AI 场景设计,提升单线程表现

经过深度优化的核心内部结构, 被划分成前端、中段、执行引擎以及缓存, 前端配置了10宽解码引擎 , 每秒能够处理诸多多量指令, 采用了神经网络技术的分支预测器, 显著提升了针对复杂代码分支的判断准确比率, 使得等待时间得以减少。

英伟达 Vera CPU 专为智能体 AI 场景设计,提升单线程表现

在互联以及缓存这两个方面, Vera配置了164MB体积的统一L3缓存, 借助SCF互连的相关技术, 其拥有高达3.4TB/s的带宽额度, 这样一种极为高速的通道, 保证了核心之间的数据交互接近不存在延迟情况。对那些需要时常进行数据读写操作的AI应用来讲, 这属于极其意义重大的基础设施。

英伟达 Vera CPU 专为智能体 AI 场景设计,提升单线程表现

英伟达 Vera CPU 专为智能体 AI 场景设计,提升单线程表现

用于内存的支持聚合带宽为1.2TB每秒, 单核的话能够达到14GB每秒。它与PCIe 6.4以及CXL 3.1标准配合, 扩展性极其强。再附加上基于Arm的安全加密功能, Vera CPU不但速度飞快, 而且极安全, 适合开展对企业的级别部署。

面临这般强大无比的专用CPU, 你所想的于未来在AI智能体方面究竟会变得愈发聪明还是会变得越发难以操控? 欢迎于评论区留下你的见解看法, 点个赞再去作分享能让更多的人看到。

英伟达 Vera CPU 专为智能体 AI 场景设计,提升单线程表现

相关文章