万亿参数模型不再只属于云端

过去, 大家普遍持有这样的看法, 那就是像Kimi K2.6这般拥有1万亿个参数的大模型, 非得在数据中心借助成百上千块GPU才可运行。LM与苹果的此次演示, 将这一认知彻底打破了。四台普通Mac电脑构成集群之后, 其统一内存总量大概是1.5TB, 进而成功撑起了这个庞大事物的推理任务。这表明消费级硬件也能够承载前沿AI算力了。

四台Mac如何撑起万亿参数

Kimi K2.6运用MoE架构, 其总参数数量多达1万亿, 然而每次进行推理时仅激活320亿参数, 如此一来极大地降低了硬件门槛。四台Mac借助苹果的内存共享以及互联技术展开紧密协作, 将统一内存池扩充至约1.5TB。开发者所做的测试表明, 在相似配置情形下模型生成速度为每秒约28个token, 并且功耗相较于传统GPU方案要低得多。

数据全程本地处理更安全

演示里头呈现出了LM Link远程访问功能, 用户能够于Neo笔记本之上安全地远程对接至本地Mac集群。所有的数据通信均是进行本地化处理, 压根儿不会经由云端。这样的一种设计针对企业用户以及隐私敏感场景来讲是极为实用的, 无需担忧敏感数据泄露给第三方云服务商。

轻量设备也能调用集群算力

LM Link已被更新至LM的Mac应用以及AI的iOS应用里, 其支持端到端加密连接。这表明即便你手持轻薄笔记本或者手机, 也能够随时去调用家里或办公室的Mac集群算力。与苹果的5 RDMA等多设备内存共享技术相配合, 整个AI本地化部署的生态正在迅速成熟。

从实验室走向开发者案头

以前, 万亿参数大模型仅仅是实验室当中的概念, 普通的开发者唯有借助云端API才能够使用。眼下, 四台Mac便能够将其搞定, 极大地降低了使用的门槛。此次合作所释放出来的信号极为明确: 本地化AI推理不再是那种遥不可及的状态了, 而是正逐步演变成开发者伸手就能够触及到的工程现实。

消费级AI硬件边界正在拓宽

从苹果硬件互联能力不断地持续进化开始, 往后未来或许会有更多消费级设备助力支持大规模AI推理。Mac集群的成功演示仅仅只是一个开始罢了, 后续其他品牌以及平台也有可能推出类似的本地化方案。对于普通用户来讲, 这意味着未来无需依赖昂贵的云服务, 也可以在自己的设备上运行大模型。

末了询问大伙一个问题, 要是四台Mac能够运行万亿参数模型, 你会不会考虑组建一个本地集群用以顶替云端API呢, 欢迎于评论区分享你的观点, 点赞以及转发以使更多人瞧见这个突破！