榜单断层领先

刷新了最新的AI编程排行榜, Fable 5以64%的成功率断层式地登上榜首。第二名是GPT-5.6 Sol, 仅有21%, 还不到它的三分之一。更为凄惨的是GPT-5.5, 成绩仅仅只有10%, 并且还被自家前辈GPT-5.4所碾压。

此榜单采用的是完整项目测试, 并非仅仅简单地编写函数。在隔离环境当中, 模型需从零开始构建可以运行的软件。通过率的64%究竟意味着什么呢? 其表明最强的模型已然能够独立完成中型项目了。

极限测试环境

进行的测试, 所含目标程序为25个, 其覆盖范围涉及Unix工具、解释器、密码学等诸多领域。被放置于隔离环境中的模型, 不存在互联网接入情况, 无法看到源码, 并且也进行不了依赖下载。

它仅能够获取到高层文档以及部分可见测试, 跟着没完没了又往复去调用原程序以求仔细察看输出的情况, 费尽心思去猜测内部的逻辑, 而后另行编写新式程序。针对15个目标而言, 各个目标都得运用两种不同的语言来操作, 并且每种语言都要运行三次。其中可见测试以及隐藏测试无一例外必须全部成功通过, 哪怕仅仅只有99.9%的比例没通过都是不行的。

语料荒漠不掉队

使用Go语言的时候, Fable 5解出率为64%, 将其换成冷门语言Ada后, 成绩仅仅下降到61%。在公开训练数据当中, Go语料是Ada语料的230倍。对于其他模型而言, 更换语言之后成绩出现大幅下滑, 例如GPT-5.5从17%掉到了5%。

这表明着, Fable 5 并非是对语法以及常见写法进行机械性背诵, 它更倾向于, 先透彻悟解程序之中的逻辑, 而后再运用另外的语言予以重新实现, 模型已然挣脱了对于具体语料的那种倚赖, 开始着手学会从无到有地构建起完整的项目。

超长调试过程

对单次预算进行推送, 将其推至100亿Token, 最长运行期限被允许设定为7天；有一回任务持续运行, 连续跑了19天, 耗费了2600美元；模型屡次进行原程序的运转, 对结果加以比较, 补充缺失的功能, 重新开展测试。

查遇到问题就找缘由, 存在输出差错便更换假定, 局部通过后接着追寻下一个漏洞。这并非如同一次代码生成那般, 而更近似于历经数天的调试进程。若由人类工程师来完成相同任务的话, 所需时长为2至17周呢, 然而模型仅需十几个小时就能将其搞定了。

项目级委托

至今为止, Agent协作已将近一周时间, 从无到有加起来写出了超过100万行浏览器方面的代码。另外还有一个项目, 让16个Agent同时并行运行2000次会话, 搭建出了能够编译Linux内核的C编译器。

在Codex用户里头, 有百分之七十点二的用户提交过工作量超出一小时的任务, 还有百分之二十五点六的用户提交过工作量超出八小时的任务, 人们交付给AI的单位, 从一段代码、一个bug, 转变成一个下午、一周, 甚至整个项目。

未来已来

百分之六十四的《寓言5》乃是针对这种变化所作的量化之举。只要目标清晰明确, 结果能够自动予以验收, 前沿模型已然能够独立自主地完成中大型软件。以往之时你必须紧盯着它去编写每一段代码, 而接下来有可能仅仅在关键节点处进行检查。

代码将会越发便宜, 能够将问题清晰表述、把结果准确验明的人, 将会愈发值钱, 你是否准备好把项目交付给AI了呢?