WAND是什么 为何值得关注

6月5日, 腾讯云音视频在产业应用大会上正式发布了AI原生能力底座WAND, 这套架构源于超过20年的技术积累。其核心目标, 是要把音视频能力从单点工具升级成为面向AI应用以及Agent的原生底座。对于开发者来讲, 这就意味着没有必要再手动去拼接多个工具, 仅仅只需通过API 或者Agent就能够自动跑通整个媒体生产流程。

架构名为WAND, 它是由三层构成的, 这三层分别是模型引擎, 能力层以及场景方案。当中的模型引擎, 涵盖了编解码, 增强, 擦除, 生成, 理解, 音频这六大, 是经过自己研究的媒体专用模型, 这些模型恰逢合适地补足了主流生成式大模型在媒体生产流程出现的短板。

能力层如何重新组织60多项AI能力

承载媒介智能相关能力的层面依照生成、理解、处理以及编码这几个维度, 把多达六十多项的媒体人工智能能力予以重新划分归类, 这些能力借助应用程序编程接口以及特有的、预先编排好的工作流这两种模式对外进行开放, 以此来支撑其智能体能够从一端到另一端自动地达成整个链路过程, 而不需要在多个工具之间反复地进行切换, 举例来说, 当我们要制作一段视频的时候, 从对素材的理解开始, 逐步到内容的生成, 一直到最终的编码输出, 整个过程实现了全面的自动化。

过去开发者在实际开发时要分别调取不同厂商的多个 API, 还得自行编写代码去串联流程, 如此一来出错率高并且效率低, 而现在这种设计解决了其中的痛点, 把全部能力整合进统一框架, 使得Agent能够自主调度, 大幅降低了集成门槛。

电商应用如何提升效率

对于电商业务而言, WAND生成模型会针对不一样的品类去定制处理策略, 像服装类商品的图片，得突出材质纹理, 而数码产品呢, 要着重强调细节清晰度, WAND能够自动识别品类并匹配最优处理方案, 如此一来, 能有效地降低报错率, 还能提升图片可用率。

传统方法里,设计师得逐个去调整图片参数,而这项能力能直接帮电商平台把人工修图成本节省下来,现在Agent可自动来完成这事儿,商家只要上传原始素材,就能得到高质量的产品图,特别适合那种需要大量更新商品的电商活动。

短漫剧创作效率提升90%

于短漫剧创作范畴之中, WAND 把剧本生成、角色一致性维持等环节连接成自动链路, 依据腾讯云发布的数据, 运用 WAND 之后平均生产效率提高 90%, 当下已为国内 80%以上的头部漫剧平台提供服务。

所拥有的AI增强技术以及获得无痕擦除技术, 此二者双双荣获NAB年度产品奖。具备自动去除画面之中杂物或者水印功能的无痕擦除技术, 在与此同时保持背景纹理连贯, 对于那些需要反复修改画面的创作者来讲十分实用有益, 大幅缩短了后期处理所需时间。

赛事直播如何节省50%码率

若面对那种有着高并发以及极低延迟要求的赛事, 处于直播场景之下, WAND借助自研模型, 通过协同调度, 把识别、生成、合成、编码整合起来, 使之成为全自动化的流程, 相较于传统方案, 它能够节省超过50%的码率, 并且已经累计支撑了数千场全球顶级赛事。

能够节省码率, 这意味着直播平台能够以更低的带宽成本去提供同等画质。比如说在大型赛事举行期间, 成千上万个直播间会同时运行, WAND所具备的码率优化能力能够直接转化为显著的带宽费用节省, 与此同时还能保证观众端体验不会出现折扣下降。

未来Agent时代的新底座

连续11次维持中国以及出海市场份额处于首位的领跑者身份的腾讯云音视频, 此次战略升级意义清晰明确。WAND正加快促使音视频能力变成能够被Agent统一调配的生产级工具, 全方位为AI Agent时代的视听应用创新赋予能量。

在行业从业者看来, 这代表着往后去搞视听应用的开发, 会更把注意力放在创意以及业务逻辑上面, 而不是底层的媒体处理那些细枝末节。Agent能够自动挑选出最为合适的编解码参数、增强策略以及生成方案, 使得技术门槛进一步地降低。

在所身处的企业或者团队里头, 当下最为急需哪一种音视频人工智能能力呢? 欢迎于评论区域予以分享, 点赞并且收藏以便使唤更多的人瞧见这一篇文章。