阿里云与月之暗面联手解决大模型推理难题

7月28日, 阿里云宣称灵骏真武M890超节点实例成功适配月之暗面具有2.8万亿参数的大模型Kimi K3。此次合作是基于芯片、推理平台以及模型的联合优化, 直接使得模型推理效率得到了提升。对于AI行业来讲, 万亿参数模型的落地向来是个痛点, 而这次突破表明大模型商用化又向前迈出了关键一步。

2.8万亿参数模型Kimi K3到底有多强

最新的月之暗面旗舰模型是Kimi K3 , 其参数规模达2.8万亿 , 采用混合专家MoE架构。去年GPT-4的参数规模约1.8万亿 , 相比之下Kimi K3直接将其翻倍。那么这个数字意味着什么呢? MoE架构的优点在于能激活部分专家模块 , 进而降低计算成本 , 但与此同时通信压力也会成倍增长。月之暗面团队之所以选择与阿里云合作 , 是因为看中了灵骏真武在亿级参数场景下的通信能力。

灵骏真武M890超节点实例的硬件底牌

基于平头哥训推一体AI芯片真武M890打造的灵骏真武超节点实例, 已将ICN 1.0互联芯片内置其中.该套系统可以使64张M890达成800 GB/s的All-to-All高速互联, 显存规模高达兆9TB, 对于万亿级MoE模型而言, EP专家并行通信流量能够运行于一个包含高热量带宽内, 确保Token高速生成效率, 简单来说, 就是让模型推理时既不会出现卡顿现象, 也不会发生丢数据的情况。

三方深度协同让适配效率翻倍

Kimi团队、平头哥以及阿里云, 于算子、软件栈等方面展开深度协同, Kimi K3模型因之成功达成Day0适配。真武芯片的T-Head SAIL软件栈, 使Kimi自研推理框架达成“开箱即跑”。M890的CUDA兼容支持, 令大量基于CUDA编写的自定义算子无需重写, 适配工作量大幅降低。这表明企业客户无需再耗费数月重新编写代码, 可直接投入使用。

万亿参数模型商用化不再是纸上谈兵

过去, 万亿参数模型大多停留在实验室阶段, 原因在于推理成本高, 且延迟大。此次灵骏真武M890的适配, 使得具备2.8万亿参数的Kimi K3在推理效率方面获得了质的飞跃。对于金融、医疗、法律等那些需要高精度推理的行业而言, 这个突破表明他们能够以更低的成本去部署大模型。阿里云方面透露, 当下已经有多个头部客户正在测试这套方案。

芯片与模型深度绑定的新趋势

此次合作揭示出AI行业的一项新趋向, 即芯片厂商与模型厂商开端深度紧密关联, 平头哥真武M890针对MoE架构进行专项独特优化, Kimi团队也相应地为真武芯片调整修饰算子, 这种双向协同适配模式, 相较于往昔芯片仅售卖算力、模型仅运行框架的模式, 效率提升了数倍数, 日后, 像阿里云与月之暗面的联合开展发掘或许会成为领域惯常标配。

看过这般文章之后, 你认为拥有二点八万亿参数的大模型于办公场景当中能够协助你达成哪些特定任务呢? 欢迎于评论区去分享你的看法, 点赞并进行转发从而让更多的人能够看到此行业突破。