不用GPU的AI服务器来了

8月2日这一天传来新消息, 刚起步的创业公司Labs正式推出了一款名为普罗米修斯的AI服务器, 此款产品并未运用英伟达的GPU, 反而是采用了自主研发的AIU处理单元, AIU把Arm核心同RISC-V向量以及张量引擎相互结合, 每一台服务器最多能够选配12个AIU。

这款服务器配备的内存, 容量处于8TB至128TB之间, 其内存容量比传统GPU服务器超出许多。官方所声称的是, 一台普罗米修斯机柜的内存容量, 等同于25个英伟达NVL72 Vera Rubin机柜内存容量之和。这表明在对大规模AI模型进行处理时, 它能够使服务器数量得以减少, 进而降低部署成本。

液冷散热功耗更低

在一台标准40U机架当中, 最多能够安装4台普罗米修斯服务器, 其总功耗达到了120kW, 虽然此功耗水平并非较低, 可官方表明相较于英伟达同等性能的服务器而言要更低, 为了对高功耗所带来的散热问题加以应对, 这款服务器采用的是液冷散热系统, 而非传统的空气冷却方式。

液冷散热具备的好处是散热效率更为高, 能够对更高密度的计算部署予以支持, 对于数据中心运营商而言, 这表明可以在相同的空间之内塞进更多的算力, 与此同时降低空调所消耗的能量, 当前英伟达最新的GB200系列服务器也已然开始采用液冷方案。

兼容主流AI框架

预计明年正式上市的普罗米修斯服务器, 其产品, 符合由Facebook等公司发起的OCP开放计算项目标准, 该标准旨在推动数据中心硬件标准化, 进而降低采购以及维护成本, 符合此标准意味着它更易于被大型数据中心接纳。

在软件兼容性这块儿, 这款服务器对vLLM以及SGLang这类主流AI推理框架予以支持 , vLLM属于现在超流行的开源大模型推理引擎当中的一个 , 好多企业借助它去部署GPT类模型 , 这表明用户无需改动过多代码 , 就能够将现有的模型转移到普罗米修斯服务器上得以运行。

挑战英伟达的底气

英伟达当下在AI芯片市场所占份额超出80%, 其GPU与HBM高带宽内存的搭配几近成了业内标配。Labs选用AIU加内存的组合予以对抗, 想法是规避GPU架构的限制, 借助更灵活的计算核心以及超大内存去满足AI推理需求。

负责通用计算任务的是AIU的Arm核心, 专门处理矩阵运算的是RISC-V向量和张量引擎, 在特定场景下这种异构设计或许比GPU更具效率。然而, 要挑战英伟达并非轻而易举之事, Labs需要跨越的障碍是CUDA生态以及软件工具链的成熟度。

目标客户是谁

有一款服务器, 其目标客户清晰明确, 主要是那些去运行大型语言模型的云服务商, 以及供企业数据中心使用。具体例如像OpenAI、Anthropic这一类的公司。它们每一天要是去处理海量较多的推理请求, 那么内存容量以及功耗是它们心目中标榜最关心的两大指标。普罗米修斯具备大内存特性, 该特性能够显著地去减少模型分片以及跨节点通信所产生的开销。

为中小型AI公司们而言, 要是不愿被英伟达那高昂的GPU价格以及供货周期给限制住的话, 这款产品便给出了一个可供替代的选择。到明年上市以后, 要是实际性能表现跟官方宣传是一样的情况, 它有可能会在AI推理市场扯出一道口子来。

市场前景待观察

有着挑战精神的Labs确实值得人们予以肯定, 然而市场最终重点考查的是实际呈现出现的效果, 英伟达所拥有的护城河并非仅仅局限于硬件性能这一方面, 除此之外还有历经十几年积累而成的软件生态以及开发者社区。AIU能不能获取到充足的软件支持, 液冷方案可不可以被现有的数据中心顺利接纳, 这些情况一律都是未知状况。

然而, AI芯片市场需有更多竞争者去打破垄断局面。要是普罗米修斯明年能顺利实现上市且稳定运行, 那它起码会促使英伟达在内存容量以及功耗方面做出更多改进。对最终用户来讲, 多一种选择终究是件好事。

针对不借助GPU的这款AI服务器, 你认为它切实能够对英伟达的地位产生撼动作用吗? 欢迎于评论区域分享你个人的看法, 为本文点赞并进行转发, 从而促使更多人参与到讨论当中。