在本地将千亿规模的大模型运行不再是遥不可及的幻想, Acrab公布呈现出GΞLIX 1这一芯片, 其着重强调的是, 根本用不着云端就能够对超大规模的模型予以处理, 这样一来, 把数据隐私以及延迟方面存在的棘手难题给解决掉了, 使得边缘设备拥有足够强大的人工智能方面的能力。

异构架构集成算力

芯片运用异构计算方式, 将CPU、GPU以及独立NPU予以整合, 这般的设计可行进高效任务分配, 防止资源出现浪费, 相较于传统的方案, 硬件利用率得到大幅度的提升, 为复杂推理搭建起基础。

性能超越主流竞品

其AI算力和约为高通骁龙X Elite的数倍, 跟英特尔酷睿Ultra系列相比较也存有显著优势, 这般量级的提升, 表明终端设备能够胜任更为繁重的实时计算任务。

内存带宽关键支撑

针对大模型有着高吞吐需求的情况, 特别对缓存与内存进行了专门的优化, 共享的L2带宽高至768GB/s, 还外挂了高速内存, 这保证了权重读取以及KV Cache存取的顺畅, 它是本地运行的基础条件。

预填充速度惊人

重点对预填充阶段做了优化, 使得首 Toked 延迟大幅降低, 用于特定测试时, 其速度是苹果 M4 Pro 的7.5倍, 这表明输入长文本时, 响应情况达到几乎让人感觉不到, 体验极为顺畅的程度。

软件生态同步落地

对于硬件之外的部分, 推出了完整的软件栈、智能体参考设计。与之配套的首款终端设备Agent Box已经亮相。这为开发者提供了从底层驱动直至上层应用的完整评估环境。

边缘AI未来已来

一只螃蟹有这样的举动, 促使人工智能朝着端侧下沉, 用户不需要去担忧数据往云端上传时出现的安全方面的问题, 随着技术变得成熟, 更多的智能应用将会直接在本地设备之上运行, 进而改变人机交互的方式。

你期望自身的手机或者电脑于本地去运行多大程度规模的AI模型呢? 请来留言予以讨论一下, 点赞并且分享从而让更多诸多的人能够看到。