价格便宜而且速度快, 国产大模型让推理用的钱变少了。GLM-5.3-Flash在上线的第一天, 调用的次数就排到了第一名, 速度和价格都做到了最好, 直接和海外同类型的模型展开竞争。

提速背后的算力故事

智谱这次并没有去堆砌参数, 而是彻底地吃透那10万张国产芯片作为算力底座的性能, 重新构建了调度逻辑, 从而把最高输出速度提升到了一个全新的水平, 在同尺寸的模型之中基本上没有其他对手能够与之抗衡。

它的前身是叫作 “GLM-5.3-Flash” 的那个模型, 当时在海外是以 “Ox Alpha” 这个匿名账号的方式去进行测试的, 智能水平碾压了同级别的对手, 而且价格只要竞争对手价格的三分之一, 等到口碑积攒够了过后, 调用量连续好几个月都在上涨, 这就逼迫团队必须要去解决速度方面的瓶颈问题。

API直接开接

那些不熟悉技术的普通用户, 只要去体验中心注册账户, 就可以直接试用这个服务。开发人员只需要花大约十分钟, 仔细阅读一下官方的文档, 就能把身份验证的权限搞定, 并且完成第一次调用。即使是在并发量特别巨大的情况下, 系统也不会出现运行速度明显变慢的迹象。

定价是按照令牌来计算费用的, 这一点并没有改变。如果是批量调用的话就会有阶梯式的折扣。小型和中型的团队每月的平均推理费用可以压缩到几百元左右。以前需要使用代模型才能达到门槛, 现在直接就跨过去了。

高并发场景实测

对于搞电商客服和做内容审核的人来说, 最怕在处理高峰流量的时候遇到瓶颈卡住了脖子。新上线的这个模型把吞吐量拉到了最高水平, 使得单个节点的并发处理能力接近翻了一番。因此, 原本需要几秒钟才能处理完的排队等待时间, 现在已经被降低到了只有毫秒级的程度。

第三方机构进行的压力测试结果显示, 在系统持续处于两小时的高负载运行状态下, 延时波动幅度从未超过百分之五, 这一稳定性表现相较于同档次的海外模型而言要好上非常多, 因此实现全天候二十四小时的在线服务显得尤为关键。

智能水平没缩水

官方的基准测试结果显示, 其在推理、代码和数学这三个方面能力与上一代产品相比是完全持平的, 并且在部分任务中甚至还稍微胜出一筹, 这一情况说明当前的状况是属于工程优化方面的调整, 而并不是对配置进行降低。

在实际使用的过程中, 可以发现中文理解能力和指令遵循能力比海外同类产品更为稳定可靠。其在长文本摘要以及结构化输出格式的遵从度方面表现较高, 从而使得返工的情况大大减少。

国产芯片路线的意义

关键的变量在于使用了十万张国产芯片跑通了整个流程, 这让供应链发生巨大风险的可能性大幅降低, 未来的拓展周期会缩短, 成本也更加可控。

从政策的角度来看, 国产算力支撑着大模型推理的实际落地, 这意味着被扼住喉咙的问题又多解决了一大步。因此, 行业内进行推理的单位价格还有进一步下降的空间。

下一步能期待什么

按照既定的路线图, 在下一个软件版本中, 我们需要继续执行操作以降低延迟并提升吞吐量。在应用程序接口方面, 有可能引入用于推理的流式处理功能以及支持自定义微调的接口。此举旨在为企业用户提供更多样化的使用方式。

现在接进去试跑, 基本是处于零成本的状态, 等到下一代产品出来的时候, 还能够实现平滑的迁移。趁着目前价格还比较稳定, 先把业务给跑起来, 这是最实在的做法。

你现在正在使用哪家模型提供的API服务? 假若预算缩减了一半, 并且速度实现翻倍, 你会更换到这个方案进行尝试吗? 欢迎大家在评论区发表看法。如果你觉得这一内容有价值, 请记得点赞并转发给同行朋友。