智能体烧钱速度超乎想象

身为全球最大模型网关之一的数据, 揭示出了一个惊人趋势, 即人类用户所使用掉的AI token, 正被智能体以快速追平之势甚至超越。并且这组数字背后, 有的是AI使用方式的根本性转变。

当网关平台处理一周28万亿token的时候发现, 按照行为特征来区分, 人类用户在提问之后总会有停顿去思考, 然而智能体却是一刻不停地循环着调用各种工具并且读写上下文, 这种节奏方面的差异, 直接在token的消耗上体现了出来。

人与智能体的用法截然不同

人类通常在十句话内完成这样一整套流程, 即打开对话框输入提示词, 并在等回复后进行复制粘贴, 与此同时, 账面上撑死仅有几千token。然而智能体在拿到目标之后, 会自动去读文件, 接着调工具, 然后写结果，如此这般一圈圈循环直至任务收尾。

还在同一个上午进行手动复制粘贴操作的员工, 到了下午挂上智能体之后, token消耗的情况立刻就转变为另一个数量级。发生这种从“一问一答”状态转变为“自主运行”状态的情况, 正是token消耗猛然暴涨的根本性原因所在。

为什么智能体这么费token

智能体所具备的请求结构, 呈现出全然不一样的状况。当你给予它一个目标时, 它能够自行将代码规范、操作手册、工具清单等诸如大量这般众多的上下文内容灌注进去, 在首次要付出全部的价格。在此之后的每一轮进程当中, 仅仅是作增量方面的更新, 差不多70%的token源自缓存提示。

a16z的统计表明, 头部公司里每名活跃用户所输出的token, 是典型公司的8.3倍。两者拉开差距的并非模型本身, 却是配套能力, 头部公司有21%的活跃用户每周都会使用插件, 典型公司仅有9%。

成本账单到底有多吓人

优步首席技术官透露, 工程师在四个月内烧光了全年的代码预算, 一场时长两小时的演示甚至花费达到了1200美元。安永测出数据显示, 客服交互成本从2023年的0.04美元涨到了2026年的1.20美元, 呈现出30倍的增长态势。

高盛做出估算, 智能体AI存在一种可能性, 会将2030年的token消耗进行推高, 推高的倍数达到24倍之多。单价出现打三折的情况, 不过用量却上涨了14倍, 由这两个数据相乘所得到的那个结果, 使得所有的企业都开始仔细地去抠每一笔AI支出。

企业如何控制智能体成本

省钱的重点并非是去更换较为便宜的模型, 而是要将经常会用到的技能组合打包成为能够重复使用的模块, 智能体无需每次都得从最开始进行探索, 少进行几次搜寻、少返工几次, 节省下来的那些都是实实在在的钱。

背后存在缘由致使高带宽内存处于紧俏状态, 智能体在运行的几个小时期间, 全程依靠内存来承接上下文。开放权重模型以及低价token服务突然间受到追捧, 确切原因在于企业不得不寻觅到可持续的使用策略。

谁来决定AI干得对不对

智能体流量一下子急剧增多并不等于所有AI都是依靠自身主动行动的。大量在进行的任务依旧需要人工去进行审核批准, 然而存在的问题却是常常没有办法能找到人来查看。有开发者给出反馈说, 智能体把广告账户里面的18个视频给删除了, 结果在过了一整天之后才被发现。

token支出在半年时间里增长至原来的14倍, 然而负责验收的人员数量却无法实现如此大幅度的增长。实际上, 如今真正匮乏的并非是进行分析调研的具体执行行为, 而是能够对判断予以验证, 以及决定什么事物才具备被开展价值的那种能力。

主要消费token的一方已然成为了AI, 然而它却没办法替你完成签字这一行为。未来所面临的真正具有挑战性的是, 并非是否运用AI, 而是在AI帮你的那些工作完成之后, 由谁来进行验收, 以及由谁来决定下一步该如何开展。你的企业在有关智能体成本控制方面遭遇了什么样艰难的问题呢? 欢迎在评论区域把它分享出来。