你的AI账单可能比员工工资还高

每百万个Token的花费仅是花费了美元零点九九, 从听起来的角度而言便宜得仿若白菜的价格。然而硅谷一家半导体研究机构所呈现出的内部账单表明, 大模型于Token方面的支出已然占据到员工总体薪资的百分之三十。这绝不是一个小数目, 人均每个月所消耗掉的Token数量近乎五十亿个, 此数量是Meta人均水平的五倍还要多。那些核心贡献者月消耗的Token数量更是突破了一千亿, 要是换算成为金钱的话, 比一个初级工程师一个月可以拿到的薪资还要高。这笔用钱数所换来的产出, 在过去的时候得依靠好几倍的人力数量才能够覆盖得住。起初需要分析师耗费几小时才能搞定的Excel模型转换, 以及财报图表, 如今几分钟就可完成, 而且只要几美元。

Token单价处于暴跌状态, 然而总消费却在急剧暴涨, 原因是使用它的人数量太多了。研究公司、对冲基金、律所这类依靠人脑运作来获取收益的行业, Token支出占据薪资的两三成, 会成为必然发生的事情, 只是时间快慢的问题。这并非是10%的效率得到提升, 而是专业服务业的单元经济正处于被重新改写的进程中。每个凭借思考来赚取金钱的岗位, 都在被Token暗暗地替换, 成本结构已经彻底发生了改变。

英伟达想给每个工程师发半年工资的Token预算

在GTC大会上, 英伟达CEO黄仁勋直接表明, 对于一个年薪五十万美元的工程师而言, 要是到了年底Token消费少于二十五万美元, 那他将会完全陷入抓狂之中。他计划给每一位工程师发放等同于半年工资数额的Token预算, 并且还要使得 7.5 万名员工与 750 万个AI智能体一同开展工作。老黄讲道, 这和芯片设计师一直坚持使用纸和铅笔没有什么差别, Token 已不再仅为工具, 它正转变成新时代的生产资料。工程师倘若不运用AI, 便是落后于时代的表现。

黄仁勋所打的算盘极为精妙: 一名工程师的年薪为五十万, Token 还要再花费二十五万, 如此一来总成本便达到七十五万, 然而产出却能够实现成倍增长。他所看重的是投入产出的比例, 而非单纯地进行省钱。英伟达内部已然在推动全体员工实现 AI 化, 每个岗位都必须运用 Token, 不然绩效将会受到影响。这样的做法在硅谷并非是独一无二的事例, 只是英伟达的步伐最为巨大, 预算也最为严格苛刻。

Uber的AI预算一年就花完了

去年底, Uber向5000名工程师推广Code AI工具, 还弄了排行榜, 使用次数越多排名越靠前。结果2月时, 工程师使用率为32%, 到3月便飙升至84%, 4月有95%的工程师每月都在使用AI, 代码提交量中70%来自AI生成。全年预算, 已然花完。CTO表示要重新做预算, 之后更严格, 给每位员工设定每月1500美元的Token上限, 超出额度需特别批准。花钱的速率远远超过了预先的期望, 然而首席运营官于播客之中讲出了一句实在的话语这样说: 人工智能的使用数量的确是在呈现出上涨的态势, 可是它与消费者功能创新二者之间的关联, 当下是无法看到的。

很典型的是Uber的翻车情况, 其推广极为成功, 然而预算却根本控制不住。工程师运用AI编写代码效率颇高, 可是公司却没能精准算清楚这笔账究竟能够带来多少实际收益。Token花得特别畅快, 不过产品却并没有出现明显的改观, 用户也并未觉得使用起来更好用。这俨然就是花钱却只买到了个寂寞, 仅仅是其内部效率得到了提升, 而外部价值并未得以体现。

微软和英伟达也在为AI账单头疼

上个月, 《The Verge》揭露, 微软有取消多数Code许可证转而采用自家CLI工具之举动, 微软的情形, 更形见魔幻, 究其缘由, 乃花钱速率高于产出速率, 微软的AI支出规模已大至影响财报, 然内部产出却未能跟上，英伟达应用深度学习副总裁Bryan于今年4月表述得更为直白, 对彼之团队而言, 计算成本远超员工成本, 其因算力相较用人更昂贵, 盖因Token单价虽已降低, 然用量增长过速致总账单激增。

MIT在2024年所开展的研究, 更让人心里难受, 在那些以视觉作为主要工作内容的岗位当中, 仅仅只有23%的场景之下, AI自动化在经济层面是划算的, 剩余77%的情形里, 雇佣人员比运用AI更为便宜, 甚至还有工程师抱怨称，AI智能体在使用的过程中破坏掉了他的数据库和网络, 他把这个称作过度使用所付出的代价, 天价预算、使用失去控制、出现诸多问题状况不断, 硅谷正处于AI经济学最为矛盾的阶段, 一边是技术带来了前所未有的生产力, 一边是账单以同样前所未有的速度在膨胀。

Token成本塌缩才刚刚开始

不要老是瞅着当下的价格瞧, 成本的缩减才刚刚起始呢。软件方面在B300之上运行R1, 借助纯粹的软件进行优化, 单个GPU的吞吐量能够从没秒1000 token飙升到每秒14000 token, 14倍的提升依靠代码便能够达成。硬件方面更为惊人, 最优配置之下的GB300 NVL72吞吐量是H100的17倍, 切换到FP4精度时直接扯升至32倍。Opus 4.7标价输入五百美分每百万, 输出二十五美元每百万, 看上去并非价格低廉, 然而鉴于智能体工作负载的输入与输出比例高达三百比一, 再加上九十%以上的缓存命中率, 实际混合成本被压低至零点九九美元, 连标价的五分之一都未达到。

将软件与硬件叠加起来, 大模型之中毛利率的扩张并非那种一次性的定价巧合情况, 而是属于结构性的一种趋势。在今年, ARR从90亿美元迅猛冲到440亿以上, 毛利率从38%急剧飙升至70%以上。Token变得更便宜了, 然而售卖Token的人反倒更加能赚钱了。今年3月的那份报告对这一点起到了佐证作用: 直至2030年的时候, 万亿参数大模型的推理成本相较于2025年将会下降超过90%。要是你想要去预估2027年Token的价格, 答案就只是一个字——降。成本下降的速度远超预期，这是AI经济的核心动力。

钱花了然后呢

今年, 全球科技公司宣布的AI资本开支达到了7400亿美元, 同去年相比, 暴增幅度高达69%。与此同时, 科技业的裁员速度超过了去年一整年。钱处于疯狂投入的状态, 人员却在不断被裁, 然而高盛首席经济学家讲了句实在话: 截至目前, AI对经济所产生的实际影响基本上为零。这并非是AI没有作用, 而是每一轮基础设施革命都会历经的阵痛: 先是投入资金建设管道, 接着等待水流到来。电网是这样, 互联网是这样, AI同样如此。差别仅仅在于, 此次管道铺设的速度以及水流到来的速度, 都是上一代人未曾见过的规模。

已然处于水流涌来的那侧了, 30%额度的薪资造就了数倍量级的产出杠杆效应, 并且成本曲线持续急剧下降着。说到其他公司, 是当下就冒险踏入水中摸索前行, 还是等对岸之人已然筑好了城接着再去追赶? 你的公司此刻有没有在运用AI, 每个月用于Token损耗多少钱, 可否认为这里得值得?