真实世界评测AI科学家能力

2025年, 中国科学技术大学的研究团队发布了一项具重磅影响力的研究所建立而成的研究成果, 那些科研工作者架构起了拥有45個模块化自动工作站的机器。借助与操作的实验室, 其工作范围涵盖了合成全部流程, 表征全部流程以及针对催化性能的测试全部流程。此项研究成功地将AI从仅仅局限于单纯理论表述推进至真实涵盖物理情况之下的世界开展实验操作。

研究团队把实验室能力包装成机器能够读取的技能模样, 使得AI智能体能够直接去调用实验设备, 与此同时, 它会受到真实设备能力情形、操作规范要求以及实验条件状况的限制约束, 这显示出AI再也没办法如同聊天机器人那般随心所欲地进行毫无根据的瞎编乱造，而必须直面物理世界的硬性约束条件。

4608次测试暴露AI短板

有着研究团队, 针对含有6种智能体框架以及9种大语言模型所构成的48种配置, 展开了系统且全面的评测, 此评测覆盖了由领域专家所定义的32项研究任务，总共的测试次数达到了4608次之多, 而就该项研究的规模来讲, 在同一类别的研究里边可以说是前所未有的, 然而最终所得到的结果, 竟让人十分意外。

在总共4608次测试里头, 仅有151个工作流能够在不需要人工进行修复的状况下就得以执行, 它们所占的比例仅仅为3.3%。有一组表现最为出色的比如Codex与Opus 4.7的组合, 其可执行的比率也仅仅只有28.1%。就算是成为排名第二的Codex与GPT 5.5的组合, 其可执行率同样仅仅是19.8%, 距离让实验室被“接管”的水准还差得远呢。

会调参数不等于会做科研

研究团队又进一步去考察, AI智能体是不是能够从真实的实验结果里进行学习, 他们把Codex与GPT 5.5的组合放置在一个开放式的五轮闭环当中, 持续开展实验规划, 让机器人去执行, 进行证据获取以及重新规划, 结果表明AI的确可以依据反馈来调整材料配方以及操作条件。

但是，这些调整主要是停留在局部参数优化的层面之上。在五轮实验的过程当中, 智能体始终保留着原有的工作流骨架, 没有对其分析方法进行重新设计, 并且也未能对一些持续存在的关键遗漏予以纠正, 像是缺少电极黏结剂以及针对特定分析物的显色试剂这样的情况。这表明AI能够读取反馈来调整参数, 然而却并不等同于能够识别研究策略本身上存在的问题。

长程规划是最大瓶颈

虽则部分智能体产出了经过专家评定能够执行的工作流, 当中最长的工作流涵盖44个操作步骤, 但是于全部的测试里头, 仅仅有3个工作流多于30个操作步骤 , 此一数据揭露了AI于长程任务里的致命软肋。

沿着任务链条不断延伸, 智能体用以维系实验逻辑完整性以及物理可执行性的能力急速滑落。人工智能在应对短链条简单任务的时候能够轻易达成, 然而一经涉足多步骤、多条件兼具的复杂实验规划领域, 其展现出来的表现便会迅速瓦解溃散掉, 根本没办法维持住前后连贯一致的实验逻辑准则遵循。

重新定义AI科学能力分级

这项研究, 第一次清清楚楚地区分了三种老是被混淆在一起的能力 , 那便是能够顺畅地生成实验计划, 生成可以在物理实验室去执行的那些工作流, 以及依据实验结果来调整整体的研究策略。这三者相互之间, 存在着极大的差别 , 根本不能相提并论。

语言层面所具备的规划能力, 并不会自然而然地转变成为可靠的实验执行能力, 研究结果清晰地表明了这一点, 局部参数的调整, 也不能够直接被看作是科学层面的重新规划, 这就意味着, 当前诸多号称“AI科学家”的研究, 实际上真正停留在的, 仅仅是最简陋浅层次的第一种能力那里。

从测试场走向训练场

其一, 机器实验室的价值, 并非局限于那当作检验AI能力的“测试场”。其二, 它的价值更在于充当推动AI持续进化的“训练场”。其三, 借助“规划—执行—反馈—重新规划”这般的闭环状态。其中, AI能够不断显露有关只是、操作以及研究策略方面的缺陷。并且, AI能够从失败当中展开学习。

成功的工作流能够沉淀为模型训练数据, 失败案例也可以沉淀为模型训练数据, 实验结果同样能够沉淀为模型训练数据, 专家评估也能够沉淀为模型训练数据, 持续迭代AI模型及其智能体系统。这种机制为判断AI是否足够聪明提供了可量化的物理世界证据, 这种机制为判断AI是否足够聪明提供了可重复的物理世界证据, 这种机制为判断AI是否足够聪明提供了可验证的物理世界证据, 推动AI从生成方案走向端到端的自主科学发现。

你觉得AI还差几年可以去做到真正独立自主地去完成一项得以完整的科学方面的研究呢? 欢迎来到评论区域分享出你的自身对此的看法, 然后去进行赞的动作还有去做转发此文章一下, 使得可以有更多的人士去了解到AI做科学研学的真实所具备的水平。