测试背景与目的

8月6日, 有某人于一款社交平台之上发布了一项针对AI编程智能体框架的对比测试, 该测试运用了30个真实任务, 且统一调用V4 Flash正式版模型, 其目的在于找出哪一个框架最能够发挥该模型的性能。

对Gmail、Slack等日常开发里常用的工具进行了测试, 模拟了开发者实际运用AI编程助手时的那般工作场景, 借助真实任务去测试而非理论跑分, 如此测试结果更能够体现各框架在实际生产环境里的表现。

成功率对比

实验测验得出了结果, Oh My Pi凭借十七比三十的成功比率站在了排行上头一名的位置, 于四个框架里展现的表现更是较为稳定的。那表明了在三十个任务当中, 它有十七个是能够准确无误地完成的, 因而失败的比率相对而言是比较低的。

虽有另一个框架其速度绝对是最快的, 然而成功率相关数据却并未被完全披露出来。就从现有的结果去看, 当不同框架在任务完成能力方面是存在着极为明显的差异的, 身为开发者在进行选择的时候是需要对这一指标予以关注审视的。

速度差异显著

哦哦我的圆周率, 虽其成功率是挺高的, 然而呢, 每个任务平均耗费时间为二百七十二秒, 在四个框架里它属于最慢的那个。与之相比较而言, 那个被称作代码的框架, 仅仅只需一百二十二秒就能完成相同的任务, 其速度优势近乎成为一倍。

此速度方面的差距, 于实际开展的开发进程当中, 所产生的影响颇为显著。倘若存在一位开发者, 其每天都必然要去运行数量达到数十个之多的 AI 编程相关任务, 那么 Oh My Pi 极有可能会耗费数小时之久, 然而 Code 框架或许仅仅只需一半的时间即可完成。

成本差距惊人

成本最低的Oh My Pi, 每个成功任务仅需0.073美元, 速度最快的Code框架, 每个任务成本高达0.195美元, 是Oh My Pi的2.7倍。

这有一数据表明, 追求速度得付出更高的经济方面的代价。对于那些预算有限的小型的团队或者个人开发者而言, Oh My Pi的性价比所拥有的优势是非常明显的。

工具调用与输出效率

Code框架, 尽管成本是最高的那种, 然而其工具调用的次数却是最少的, 并且生成的输出令牌同样是最少的, 这显示出它于执行任务之际更为精简, 削减了那些不必要的中间环节。

噢, 我的圆周率 成功率是高的, 然而速度较慢, 这兴许跟它调用更多工具、生成更为详细的输出存在关联。开发者必须在任务完成的质量以及执行的效率之间作出权衡。

如何选择适合你的框架

在开发里头, 要是你更注重任务成功概率而且预算处于有限状况, 那么Oh My Pi是更为经得住考量的选择, 要是你有快速进行迭代的需求并且对成本没什么敏感度, 速度更快的框架或许更契合你。

建言开发者按着实际项目需求去实施测试, 切莫仅瞅单一指标。于各异场景当中, 最优之选兴许全然别样。你平常更为看重AI编程工具的哪块表现呢? 欢迎于评论区去分享你的看法。