AI资讯

ChatGPT史诗级大升级:速度飙升94%,内存占用砍半

智能摘要

今天,一条OpenAI内部Slack消息爆出,ChatGPT将迎来一次「史诗级」的性能大换血。应用加载速度直接飙升94%,堆内存增长减少87.8%,整体内存占用砍掉41.2%。就是这样高强度的对话,如今打开它,平均时间从27.62秒降到1.66秒。

加载速度惊人翻倍

此次Codex更新所涉及的数据, 着实令人感到意外。应用开启的速度, 提升了94%。内存增长的幅度, 减少了87.8%。网络请求的数量, 直接削减了超过98%。这些数据并非是小范围的修修补补, 而是对底层架构进行的重新构建。

官方所公布的被称为测试样本的, 原来是这样一个大型项目, 它有着741轮对话, 有着体积为231MB的规模。如此这般极为不寻常的状况, 在以往的时候打开是需要27秒多的时长的 , 而如今呢仅仅需要1.66秒就可以完成。这样的一种变化, 对于那些重度使用者来讲其体验究竟算怎么样, 则完全是处于极为不同的两个世界情境之中的。

超长对话不再卡顿

往昔聊天量越大时界面愈发迟缓, 乃至偶有陷入崩溃之境。此番优化的关键思路在于采用懒加载方式, 并非一次性将历史内容全部予以渲染呈现。唯有当前页面所需展示的那部分内容才会被加载出来, 其余部分均予以存储留存。

这便表明着开发者能够随时切换回到长达几个月的长对话, 并非如同读取坏掉的存档那般需要等待。设备内存所占空间也从一千多MiB降低到约莫六百, 对于配置平常的电脑而言也更为友善。

多智能体自动分工

就在这个时候, 多智能体的v2版本, 也正式地推出上线了。主Agent, 可以依据任务的类型, 把对应的活自动地专门派发给不一样的子模型。每个子Agent, 还能够独自去设置推理的深度, 简单出现的问题就使用低成本的模型, 只有复杂的问题才会去调用超强算力的模型。

原本, Luna模型因被标记成未知, 致使开发者只能借助钩子去绕过限制。当下, 官方直接开放了调度权限, 无需再手动挑选模型。如此变革, 其背后是对成本控制的精细考量。

告别手动选模型

先前碰到复杂任务时, 用户需自行判别选用哪个模型更为划算, 如今则是由系统自动开展拆解工作以及实现调度操作, 并汇总结果, 全流程全然无用人为干预之举, 这般一来就等同于把模式转变为后台的资源以供使用, 此时用户仅仅关注输出的品质是否精良。

Greg总裁称此次更新为告别手动选择的里程碑, Agent时代核心竞争力, 已从单点能力转向全流程自动化了 , 谁家能更早达成这一步, 谁家就能将用户留在自家生态区里。

从聊天走向工作流

Codex 的此次升级, 指向着一个清晰明确的趋势, 大模型产品正从对话工具转变成为完备的工作平台, 用户将复杂需求投入其中, 系统针对此自动规划工作路径, 分配所需算力范畴, 输出精准结果表现, 整个过程中用户完全用不着操心中间的系列环节。

对于开发者而言, 实际具有的意义在于, 能够将精力投放于定义目标以及验收结果之上, 并非致力于耗费时间去做调试工具链这件事。产品体验所具备的门槛正处于降低的状态, 然而完成复杂任务时存在的天花板却处于抬高的情形。

生产力工具的新标准

当加载速度以及响应能力已然不再属于瓶颈范畴之时, 用户针对产品的评价标准将会转移至何处所在。是属于任务的完成速度情形, 还是输出的准确程度类别, 又或者是整个工作流程环节的顺畅程度表现。诸如此类方才是接下来竞争时期的核心地域范围。

Codex的双线推进已然给出了答案, 一边是清除性能方面的障碍, 一边是实现智能分发的打通, 两条腿并行的方式比单纯单一的优化行进得更远 , 你是期待这般毫无感觉却实力强劲的工具, 还是更倾向于自己把控住每一个步骤呢?

相关文章