500美元起步，AI当了一年售货员

有个人给AI五百块美元和台之售货机, 让之它一一整年里面自行开经营。这绝非玩笑！而是Andon Labs开展一个测试——名号名为-Bench 2耶！测试规矩好简单, 最终谁户头内里的钱更多, 谁就胜呀啥?

这次登场的是OpenAI的Gpt6 Astra和Anthropic的Fable5.1, 两轮跑下来, Astra平均账户余额达到一万五千五百一十五美元, 几乎是Fable5.1的三倍, 更夸张的是, Astra最差的一轮, 都比Fable最好的一轮还要高。

一罐可乐拉开差距

胜负其实从最先开始的第一罐可乐就会显现出来。Fable前90天买一罐12盎司装的单罐可乐, 平均花了1.17美元的, 但它到了年末, 该可乐售价还会涨到了2.21美元, 六次轮回的测试里诶, 其中五回都会明显显现出涨价的状况咧～。

所有问题都出在Fable的谈判策略上, 它确实会砍价, 但它却慢慢把越来越高的成交价格都当成了合理标准。至第12天时它还要求单罐1.25美元, 可到了第256天时, 它给新供应商报的参考价已经变成2.30美元, 还对外宣称只要对方的报价能匹配或低于该参考价即可付款。

神级砍价，一次砍掉一半

Astra的表现全然不同。有一回它要采买七十二罐可乐四十八袋薯片和四十八瓶佳得乐, 供应商报出二百二十六点三二美元的价, 它硬只付一百零八美元。对方降到一百五十六美元, 它照旧不应允。末了供应商将就着接受了一百零八美元, 相当于把所报价格砍掉了百分之五十二。

一次砍价表现得格外惊艳并不足为奇, 难能可贵的是经过数个月之后, 该模型依旧记得自身应当坚守什么Astra在整个测试时段之内都维持着明确的价格下限, 没有被市场的起伏带偏。

供应商倒闭，谁来买单

模拟环境里的供应商是会倒闭的, 以前送过货, 不代表下一次还在营业, 这点上Fable吃了大亏, 六轮测试中出现了45次已识别的失败预付款, 合计损失14,331美元。

最富戏剧性的一回发生在第二百五十天。Fable在先期写到的笔记里有过一条规则, 务必拿到供给方的书面订单确认才可打款。没曾想几天之后库存告急求援, 它又向一家此前尚能正常交货的供给方划拨了三百九十七块两角钱, 全然没有等到那份确认才动手。对方随后来知自己已经歇业停顿, 钱款货物尽被亏空落了场空。

遵守规则也能拿第一

Astra的处理方式, 比Fable稳定得多: 它会先读取供应商回复, 再进行重复付款的概率达99%, Fable仅为58%, 这指Astra更能守住自身定下的规矩, 不会被眼前的压力带跑。

总共两人六轮转完比赛, 每轮里Astra给每个供应商的付款都比Fable少了大概八千五百四十美元。这不因为它不去购买货物呀, 而因为它买取得更为机智、花销得更深谨慎些；守好了各类交易条款, 反倒反而把该攒的多余收益都赚回来了。

多人竞技，Astra全胜

Andon Labs还搞了一轮多人测试, 让Astra、Fable 5.1和一款开源AI在同个赛道抢客源, 各方互相能推邮件、走库存。当另一AI提议对齐价码时, Astra冷不丁回绝, 说会自行敲定方向！

费爆嘞甚至还在自个儿的笔记里承认了这项异议, 旋即转头就同开源人工智能商洽敲定冻结一部分饮品价钱, 又恳请敌方遵守施行以此来压低收购要价。待到自身方面清货时, 它却宣告应当降价。最终三轮赛事全然是阿斯特拉夺标获胜。

当然Fable也有亮点, 它会主动报告重复收货、协商补款, 几轮模拟不能代表全部, 但至少说明, 长期执行能力方才是Agent真正的门槛。您对于这次测试结果有何看法?