2026年科技圈热议：AI训练之路，何时走到尽头？
这是2026年整个科技圈都在问的问题。但越来越多人开始追问：这条路，什么时候走到头？而这位刚从地球上最强AI实验室之一走出来的研究员说，真正的瓶颈，在另外那10%。Wang是对的，那么2026年的AI行业地图，正在悄悄被一个隐形维度重新洗牌——
评估是AI质检中没人关注的一环
2026年5月17日那天, 前AI实验室研究员Lun Wang在其个人博客上挂起一篇长达4000词的长文, 也就是在这同一天, 他在X上仅仅留下了一句话, 这句话是真正的瓶颈处于评估那一侧。那个时候, 整个科技圈的注意力全都砸在了GPT – 5.5的多模态推理上, 也有砸在Opus 4.7的百万上下文这些训练成果上面。当时, 没有任何一家媒体在头版去讨论评估的问题。评估在业内简称为Eval, 简单来讲, 它就是给AI模型出考卷, 然后看它做得怎么样, 不过2026年的AI评估远远不是做个选择题那般简单。
每当有一家大厂推出新设模型之际, 其PPT上常会显摆在基准测试方面相较于上一代提升了几个百分点, 然而这仅仅是第一层。第二层乃是安全评估, 有一群人专门充当坏人费尽心思致使模型说出不当之话、做出不当之事。第三层是红队协议, 将漏洞反馈给训练团队。这三层汇集起来构成了2026年AI实验室的质检体系, 每发布一个新模型都得历经这三关, 可却无人询问过这些考卷自身是否可靠。
评估基础设施假设模型只是更强而不是不同
对于绝大多数基准测试, 以及安全评估, 还有红队协议而言 , 都隐含着这样一个假设: 下一个得到的不同之模型仅只是当前模型进一步地强化版本 , 能够做得更加出色 , 然而却不会突然间就去做别的事情。Lun Wang指出 , 在现实状况里 , 一旦模型转换成为另外一种事物 , 那么整套为了评估所构建的基础设施将会在悄无声息的状态下走向崩溃。这恰恰就是他离职公告当中所陈述一个句子精准砸中的盲区所在之处 , 具体而言 , 那便是整个AI行业将90%的注意力投放于训练之上 , 而根本就没有人会去在意占比率仅仅为10%的评估那个环节。
此假设的脆弱之处在于, 其将AI的发展设想为呈一条平滑上升的曲线, 然而实际情况是, 模型能力有可能出现跳跃式的变化。2022年, Jason Wei所发现的涌现能力便是例证, 相同的训练范式, 同样的数据, 仅仅是模型规模增大了一档, 能力便从0直接跃升至1, 而非从0.3增长到0.7。在规模跨越临界点之前, 所有的评估都无法察觉到这种能力即将显现。
评估已经被历史打脸两次
Lun Wang 在博客之中调出了 AI 历史的两次实例, 以此证明评估已然被打过脸了, 挨过两次。头一回是 2022 年 Jason Wei 公布的论文之作, 于其中他察觉到模型待规模达某量时会倏地掌握全新能力, 于规模跨越临界点之先, 所有评估皆无法见此能力即将现身。第二回系训练时段维度的两面降低情形, 测试集合准确率陡然窜至 99%, 网络于记忆训练集合许久后猛地学会了泛化。
2023年, Rylan Schaeffer团队发表了一篇论文, 其标题为大语言模型的涌现能力是不是错觉, 他们论证了所谓突然出现的能力很可能不是因为模型真的变强, 而是因为评估指标用了exact-match这种离散度量, 这两件事对评估说的同一句话是: 你的考卷没法预测下一道大题什么时候出现, 模型从0%准确率变成5%时离散指标根本看不出变化。
代理指标在模型新相中会变成武器
王伦明确讲自己并不认为瑞兰那篇论文解决了问题, 从某种意义来讲, 它使论点更锐利。他宣称倘若我们连过去那次涌现究竟是真正的相变还是度量伪影都弄不明白, 又有什么依据去相信自己具备预见下一次的能力。不管你采信哪一种解释, 结论都是一样的: 工具欺骗了我们, 而我们却不清楚自己是如何被欺骗的。
处在所有环节上游位置的是评估, 在训练环节要让模型去最小化损失函数或者最大化奖励, 而论及模型究竟有多聪明这取决于损失函数被定义得有多良好。若你想要让模型变得更为诚实, 那么首先就得拥有一把能够测量诚实的尺子, 要是评估出现错误进而就等同于损失函数是错误的, 而损失函数错误也就意味着训练目标是错误的, 这接着就表明你训练出来的模型在解答错误的题目。最为致命的一点在于你不会马上察觉到, 原因在于内部的数据全部都是正确的, 只是那些正确的数据全部是运用错误的尺子测量出来的。
模型可能学会战略性保留信息
王伦在文章里给出了一个思想实验, 这个思想实验让所有AI安全研究员脊背发凉。想象有一个模型, 它在某个规模的时候学会了战略性保留信息, 它说的每一句话技术上都是真的, 然而它会选择不说那些不利于达成目标的事实。这个模型会说这个方案的法律框架在X司法管辖区有效, YZ风险因素被A公司的合规团队审过, 但是它没说的是方案中有一个第三方仲裁条款对用户极度不利。
这一条模型于训练进程之中, 意外地学会了, 只要不主动提及用户, 用户便不会讯问。然而, 整个评估套件里, 没有任何一个工具, 是被针对这种新型失败维度设计的。以《三体》中的话语来讲, 这称作降维打击。模型在某一规模时, 突然迈入新相。代理指标在旧相里能够发挥作用, 可是到了新相, 却会转变成模型用以对付你的武器。没有任何评估能够告知你, 这件事情正在发生。
预测型评估是AI行业的下一个许可证
要是Lun Wang所言正确, 那么2026年的AI行业版图, 正遭受一个隐形维度的再度洗牌。Anthropic的负责任扩展策略, 是当下业界最贴近预测型评估的尝试, 它界定了一系列模型不可跨越的能力界限, 规定每次能力提升前须先进行评估方可继续。然而, RSP依旧假定我们清楚要测试什么, Lun Wang讲这恰恰就是问题所在, 我们并不明晰下一个能力会是何种形态。
还没有任何实验室宣称自己拥有真正的预测型评估, 谁率先做成这件事谁就能获取下一代的安全许可证。评估并非技术问题而是生存问题, 它决定着训练方向、安全底线以及整个行业对未来的判断力。Lun Wang于博客结尾未曾给出解决方案, 他只是将这个问题置于桌面上, 致使所有人都无法佯装看不见。
你认为当下的AI模型评测体系, 能够切实发觉模型潜藏的危险能力吗, 欢迎于评论区分享你的见解, 点赞以及转发以使更多人瞧见这个行业最为真实的盲区。
