IBM联手Together AI,16亿部署英伟达新集群
亿元人民币)协议。的开源模型推理服务。投入使用。以太网技术构建的专用于推理的大规模集群。表示:企业希望获得最先进的模型性能,但又不想承担封闭模型的高昂成本,而这只有在底层基础设施快速可靠且能够大规模部署的情况下才能实现。的合作为我们奠定了这样的基础。成为企业首选的重要一步。
2.4亿美元合作落地
IBM披露了和xAI订立多年期协议的消息, 金额达到2.4亿美元。这笔款项能够会用于当于IBM Cloud上面去设置专用AI推理集群。
xAI, 一家由埃隆·马斯克创立的人工智能公司, 主打开源大模型路线。此次合作, 意味着总算有了专属基础设施支撑的开源人工智能。
英伟达HGX B300登场
英伟达最新的AI训练和推理平台是HGX B300, 它搭载的是Blackwell架构GPU, 其单卡算力比上一代H100超出许多。
这一套系统, 是专门针对大规模推理而进行设计的, 它具备能够同时去支撑数千个并发请求的能力。对于那些需求稳定响应的企业应用来讲, 性能提升是明显到肉眼就能够看见的。
开源推理成为主流
以往企业运用AI之时, 大体上仅仅能够选择闭源的方案, 诸如GPT – 4、Claude这些模型, 虽说其力量颇为强大, 可调用的成本随着使用量的增加而快速地攀升。
开源模型有着不一样的思路, 企业能够部署自身的模型。企业能够依据需求进行调整, 企业不会受到第三方的限制。xAI的Grok系列是那种典型的代表, 它的性能和顶级闭源产品很相近, 这是真真实实的情形。
400T词元月处理能力
当下, xAI每月所处理的词元量已然达到了处于400T一级别的程度, 这一情况表明, 每日存在着数量巨大的文本于该系统里进行流转, 而这对于算力以及稳定性方面而言, 所提出的要求是极其高的。
有了IBM的专属集群, xAI能够不再跟其他用户共同分享资源, 推理延迟更为低下, 服务质量更加稳定, 而这些才是企业用户切实关心的。
83亿美元估值背后
xAI于近期完成了8亿美元的C轮融资, 该融资完成之后, 其估值就达到了83亿美元。在资本市场方面, 对于这个开源AI项目, 看好的态度是极为明显的。
就技术路线而言, 开源正逐渐成为主流趋向。GitHub Copilot、GPT API都在耗费大量闭源算力, 然而企业更需求可控的、可定制的解决办法。 句号。
企业AI选择新方向
就这次合作而言, 它给企业传递了一种信号, 那就是, 专用基础设施与开源模型相互结合起来, 正逐渐演变成一条可行的第三方向道路。
具备不用承担闭源 API那种高昂费用的特性, 同时还拥有足够良好的性能表现, 对于有着数据敏感需求或者面临长期成本压力的企业而言, 这说不定是更为优质的选项。
对未来企业而言, 在开源AI以及闭源API它们二者之间做出抉择时, 所做出的选择将是如何, 你对此有怎样的看法, 欢迎在评论区域进行阐述, 还有一点需要留意, 可千万不要忘记为这篇文章点赞并且进行分享。