月之暗面 7 月 27 日晚正式开源 2.8 万亿参数 Kimi K3 模型
模型。上下文窗口。模型都保持着开源模型的规模上限。倍，能更有效地把算力转化为能力。具备很强的长程编码能力。也擅长结合软件工程与视觉推理的任务。等场景。Sol，但在整套评测中展现出前沿水平的能力，并稳定超过了其他所有模型。环境的关键链路。则随本次发布正式开源。
开源重磅发布
7月27日的夜晚时分, 月之暗面官方正式对外宣称开源其最新的大模型Kimi K3 , 此次的开源状况, 不但涵盖了模型权重以及技术报告, 而且还额外附带了支撑模型训练进程的关键基础设施技术 , Kimi K3的发布情况, 马上在AI圈引起了热烈的讨论, 进而成为了开源社区给予关注的重点之处。
参数规模创纪录
存有2.8万亿参数的大模型正是Kimi K3 , 它是借由KDA混合线性注意力机制以及注意力残差技术搭建组建而成的 , 它对视觉理解这项能力从根源上来说就是持支持态度的 , 在上下文窗口方面它具备足足10,000,100个token , 官方着重指出 , 此模型乃是首个参数规模达2,8032,540,000,000的开源模型。
稀疏专家架构
Kimi 将混合专家模型的稀疏度做了进一步的拓展延伸, 等到与特定框架相结合以后, 该模型能够于 896 个专家里高效率地激活 16 个, 再加之训练方法以及数据配方的优化之举, 这些结构性的改进使得 Kimi K3 和前代 K2 相比较起来, 整体的扩展效率提高了大约 2.5 倍, 能够更加有效地把算力转变为实际的能力。
长程编码能力突出
Kimi K3有之很强的长程编码能力, 于极少的人工监督情形下, 它能持续搞定长时段的工程任务。它可理解以及处理大型代码库, 还能协调运用终端工具, 并且擅长把软件工程跟视觉推理两项任务相组合, 例有利用截图跟视觉反馈去优化游戏开发、前端和CAD等相关场景。
性能对比闭源模型
官方宣称, 虽说Kimi K3的总体展现实仍次于最强的闭源模型像Fable 5以及GPT-5.6 Sol这般情况, 可在内整套评测里呈现出前沿状况的能力, 它稳固地超出了别的所有模型, 于开源范畴维持领先位置。
三项关键Infra技术
官方公布了三项基础设施技术, 这三项技术是支撑Kimi K3训练的, 其覆盖了关键链路, 此关键链路从高性能通信开始, 经高性能算子, 到分布式强化学习环境, 其中一项技术在此之前已经开源了, 另外两项技术随着本次发布正式开源了, 这为开发者提供了完整的技术栈参考。
你认为Kimi K3的开源, 会给国内AI生态带去怎样的实际改变? 欢迎于评论区去分享你的看法, 点赞并转发以便让更多的人能够看到。