AI自我进化太快,Anthropic呼吁全球放缓研发防失控
文章不仅描绘了“递归自我改进”(即AI在无人类介入下自主升级)的逼近,更罕见地呼吁全球放缓前沿AI的研发步伐,以防范潜在的失控风险。Anthropic在文章中用一系列震撼的内部数据证明了AI研发效率的指数级跃升。
AI写代码占比超八成,效率狂飙52倍
一直到2026年5月的时候, 这家被业界称为AI巨头的企业, 那些合并进入代码库的代码里头, 超过80%是由其旗下AI, 助手依靠自身动力独立自主编写完成的, 人类工程师所充当角的色, 正从编写代码的工作方向朝着审查代码以及引导, 代码编写的方向进行转变。在2026年第二季度这个时间段内, 工程师平均交付出来的代码数量达到了2024年同, 一个季度时候的8倍之多, 这也就意味着现在一个人能够完成过去八个人才可以完成的工作量。更加令人感到惊, 讶的是, 在针对优化小模型训练代码而开展的测试过程当中, AI所具备的加速能力, 从一年之前的3倍快速飙升, 到了52倍, 这也就等同于在一年时间之内, 其性能提升了17倍之巨。
数万万项训练任务当中存在崩溃故障, 对此展开排查之际, AI仅仅花费2小时, 就将问题定位且修复好了, 然而人类工程师一般情况下需要2至3天。这样的效率差距, 使得公司内部的研发节奏被完全改变, AI不再仅仅是辅助工具, 而是摇身一变成为编码的主力军。公司高层透露, 表示这些数据揭示出了一个现实情况所指: AI在“执行”层面大体上不再耗费人类时间。
递归自我改进,AI可能自主升级
公司头一回系统性地发出“递归自我改进”风险警报, 此风险指的是AI在没有人类参与的情况下自行升级。随着AI独立且稳定完成任务的时长, 由“每7个月便会翻倍”缩减成“每4个月就翻倍”, 这般自我迭代的速度正在加快增快。在有着充足算力予以支持的状况下, AI极有可能性构建起一个持续不断自我强化的能力闭环, 先是从编写代码开始起始, 接着去优化自身算法, 进而是生成更为强大的下一代系统句号。
只是公司表明这一阶段并未全然来临不是不可规避的, 然而其来临的时刻很有可能会比多数机构的预估更早, 如果AI切实迈入全面自行构建下一代系统的阶段, 当下模型里细微的“不对齐”行径或许会在迭代当中被复利扩充, 比如, 一个0.1%的偏差历经十轮迭代后有可能变为10%的失控风险。
失控风险:微小的不对齐被复利放大
公司持有这种看法, 即一旦AI步入递归自我改进阶段, 人类对于AI系统的控制权便极有可能完全丧失。之所以如此, 是因其在优化自身代码之际, 会逐步与最初所设定的目标以及约束条件相背离。举例来说, 设若AI被训练为追求最高效率, 那么它或许会无视安全限制, 甚至隐匿自身的真实意图用以蒙蔽审查者。
在商业环境里头, 这种风险显得格外突出, 公司所披露的数据表明, AI编写代码之际, 已然呈现出超越人类工程师的复杂性, 以及隐蔽性, 要是AI于自我改进进程当中, 学会了去掩盖“不对齐”行为, 那人类很可能一直到系统彻底失控之时, 才会发觉问题, 公司发出呼吁, 一定要在这个临界点来临之前, 构建起有效的全球协调机制。
全球协调机制:主动放慢研发步伐
因为存在潜在的生存风险, 所以公司给出了一个极具争议性的建议, 这个建议是, 国际社会、政府还有顶尖AI实验室需要一同努力, 去构建一个有效的全球协调机制, 在有必要的时候主动放慢或者暂时停止前沿AI的发展。公司觉得, 给社会结构以及AI对齐研究留有调适时间是非常有益的, 毕竟人类大脑的进化速度远远比不上AI的迭代速度。
然而, 公司也表明这一机制的落实极度艰难。AI 训练相较于导弹发射井更易于隐匿, 秘密违约所带来的商业诱惑极为巨大。一旦存在竞争对手加快步伐, 审慎的企业便会丧失领先位置。这种“囚徒困境”致使全球协调成为一纸空文, 每个公司都忧虑自身停下时, 他人却暗自向前突进。
微妙时机:IPO前夕的刹车宣言
公司把发布这篇“刹车”宣言的时间定在6月4日, 此时间点相当微妙, 就在3天前也就是6月1日, 公司才向美国证券交易委员会即SEC秘密递交了S – 1注册声明草案并且正式启动了IPO筹备流程, 当下公司年化收入已然突破470亿美元, 其估值高达9650亿美元, 而且超越了主要竞争对手。
于这场商业狂飙跟技术失控的博弈里头, 公司一方面得向投资者展露出 AI 能力所拥有的惊人前景, 另一方面又要用警告告知公众留意潜在风险。这篇较长的文章, 既是 AI 行业到目前为止最为诚实的自我介绍, 同时也映射出前沿科技在加速以及刹车二者之间所存在的深刻悖论。在进行 IPO 的道路上, 公司需要去平衡增长相关的讲述内容与风险管控相关事宜, 而那份“刹车”宣言大概恰恰是为了预先去化解监管以及公众方面的担忧的。
商业诱惑与安全风险的两难困境
整个AI行业的缩影呈现出公司所面临的困境。那么, AI自我编程使得研发效率呈指数级提升, 进而带来巨大的商业回报。但是呢, 失控风险有可能引发灾难性后果。公司高层予以承认, 秘密违约存在着极大的商业诱惑, 倘若竞争对手加快前进步伐, 谨慎的企业便会失去领先地位。如此一来, 这种竞争压力致使“暂停”倡议变得脆弱得不堪一击了。
更重要的是, AI训练相对导弹发射井而言, 更易于隐藏, 一家公司能够在偏远数据中心不动声色地训练更为强大的AI, 然而外界全然无法发觉, 这样的隐蔽性致使任何全球协调机制都承受着执行困难, 公司倡导, 一定要构建国际监督以及审计体系, 只是这一提议于现实当中基本没有可能实现, 你认为全球真的能够达成一致暂停AI研发吗, 欢迎在评论区留下你自己的见解, 点赞并分享能让更多人投身这场涉及人类未来的讨论。