谷歌新库LiteRT.js发布,浏览器AI推理速度实测提升3倍
谷歌正式发布全新Web端AI推理加速库LiteRT.js。TensorFlow.js则是谷歌此前开发的经典库,支持开发者将基于TensorFlow构建的模型直接部署到Web浏览器中,实现客户端AI功能。不过谷歌也坦诚表示,在运行旧硬件或使用不同引擎的浏览器时,实际性能表现可能存在一定差异。
做网页AI开发太慢?现在有机会翻盘了。
谷歌才刚抛出一枚重磅炸弹, 正式公布了全新的、用于Web端的AI推理加速库。这个新的东西称作.js, 其名字听起来略微有点绕口, 然而它的作用却极为实在。
它并非是出于好玩之目的, 而是意在解决切实存在的痛点。往昔于浏览器当中运行AI模型之时, 其速度迟缓得犹如蜗牛一般, 致使用户体验糟糕至极。现如今具备了这个全新的库, 局面极有可能会被彻底扭转。
于此次升级而言, 其核心状况乃是引入了.j技术, 这属于一种二进制指令格式, 该格式能够致使网页之中的计算运行得更为快速, 它并非再借助传统的软件模拟方式, 而是直接去调用硬件能力。
换句话说, 便是要使浏览器具备如同原生应用那般的高效性能。而这对于那些在网页端实施复杂AI任务的开发者来讲, 无疑恰似久旱逢甘霖一般。
告别传统内核

以往的.js库尽管具备强大之处, 然而其底层架构已然在一定程度上难以契合当下时代的发展节奏了。它主要借助传统的软件内核去开展计算执行操作, 效率瓶颈呈现得较为显著。
虽说AI模型是日复一日地变得愈发庞大, 愈发繁杂, 然而老方法的局限性却是就此显现出来了, 加载速度迟缓, 占用资源数量众多, 耗电速率飞快, 这些无一不是令开发者头疼不已的问题啊。
当下, 谷歌作出决定, 要将旧方案完全推翻, 进而推出全新架构, 这并非普通的修补, 而是一场涉及核心层面的改造, 其目的在于使AI在Web端的运行能够更为顺畅。
新版本不会再被老旧的内核逻辑所限制, 而是启用运用了更具现代化的设计思路。这表明意味着未来即将到来的网页AI应用, 其呈现的展现出的响应速度将会有着品质性质的飞跃提升。
对于使用的人来讲, 这表明开启网页便能够获取顺畅的智能服务, 无需等候漫长的加载进程, 也无需忧虑手机变得发烫。
硬件加速加持
此次的发布, 并非单纯局限于软件方面的更新, 而是一种硬实力的展现。全新的库, 深度融合了WebNN等硬件加速的能力。
浏览器与底层芯片沟通的桥梁是什么呢? 是WebNN , 网页代码借助它能够直接指挥GPU或者NPU去进行计算。
这种结合致使.js 可以将硬件的每一丝性能充分挖掘利用, 以往仅仅依靠 CPU费尽心力地运算, 而如今能够启用图形处理器这类专用硬件。
那么其结果便是速度呈现出爆发式的增长, 在理想的环境状况之下, 计算效率已不再属于瓶颈范畴, 而是转而变为一种享受, 开发者能够更为自由地去专门设计复杂的AI功能。
这意味着, Web端的AI步入了“核动力”时期, 单纯依靠软件模拟的日子, 很快就要成为过去, 硬件加速将会变成标准配置。
实测三倍提升
光嘴上说却不付诸实际行动那纯粹是假把式做事风格, 谷歌此番是动用真正的机器展开了测试, 其测试是在配备了M4芯片的2024款呈现的苹果Pro笔记本之上进行的实测。
M4芯片其自身本就是堪称性能方面的怪兽, 与全新的.js库相互搭配结合, 所呈现的效果着实惊人。有数据清晰显示出来表明, 和现有的方案彼此相比较, 推理速度在原本基础上最高实现了提升三倍这样的结果。
概念乃是3倍, 原本那种任务得跑10秒, 如今, 3秒便足够了, 这般速度的差距于日常使用期间可是极为显著的。
网页将模型加载的时间予以了缩减, 致使用户等待时所产生的焦虑之感有所降低。交互的状态进而变得更为即时, 就好像是在运用已在本地进行安装的桌面软件一般。
对此, 针对于那些有着需要实施处理要求的场景而言, 则显得格外至关重要, 诸如视频滤镜此类场景, 还有语音识别这种, 亦可或是实时翻译这类场景。速度所产生的提升, 会直接转变成为体验方面的优化。
旧设备也受益
即使3倍这般显著的提升十分引人注目, 然而谷歌也是极为坦诚的, 他们明确表示, 于旧硬件或者不同浏览器的情形之下, 表现兴许会存在差别。
只不过这并不能表明旧设备就毫无挽救的可能了。新架构其中一个设计的最初想法就是具备兼容性以及广泛的适用性能。就算没有最为新型的M4芯片, 也能够体会到一点进展开来的变化了。
针对低端设备而言, 效率得以提升意味着功耗更低, 且产生的热量更少。这使得在移动设备上运行AI模型变得更为可行。
对于那些陈旧的手机, 或者是古老的电脑而言, 只要其浏览器能够支持相关标准, 那么便可以享受到技术所带来的红利;人工智能不再是那些大型厂商旗舰型号手机的专属玩乐之物。
有助于推动端侧AI真正普及的这种具备普惠性质的技术进步, 能促使每个人在自身设备上轻松运用智能功能。
迈向原生体验
谷歌做出的这个动作, 向外释放出了一个颇具强度的信号, 即Web端的AI正处于追赶原生应用的进程当中, 在以往时间段里, 网页应用一直被认定为在流畅程度这方面比不上本地App。
如今, 伴随计算速度的提高, 这种差距正趋于缩小。开启网页便可获取近乎原生应用的感受, 这会使得用户的使用习惯发生改变。
不需要进行下载之操作, 不需要实施安装之行为, 即刻开启便可以使用, 这是Web应用最为显著的优势了。再加上有着AI能力提供的助力, 网页所具备的竞争力将会大幅度得到增强。
开发者能够侧重于内容以及服务, 进而无须担忧性能方面的拖累, 广大用户能够在任何时间任何地点于浏览器里调用功能强悍的AI工具。
这并非单单是技术层面所收获的胜利, 而更是生态领域获取的胜利, 它预先表明了互联网应用形态的再一次重大变革, 人工智能将会变身为网页的标配能力。
你认为, 浏览器去运行人工智能模型, 真的绝对能够做到完完全全取代手机应用程序吗? 欢迎于评论区域留言并展开讨论, 点赞以及分享, 从而让更多的人得以看到!