世界杯直播之际, AI解说员不但得看清场上所发生的状况，还得记住几分钟之前是谁犯规、谁进了球, 甚至于要用你家乡的方言去吐槽, 这种事先前连想都不敢去想。然而阿里云刚刚发布的Flink 3.0, 切实把视频、音频、图像、文本这四种数据放进同一条流当中进行实时处理, 使得AI能够一边观看球赛一边解说球赛。

实时多模态处理一步到位

曾经AI若要领会直播画面, 需先将视频转化为图片, 而后逐张予以分析, 其速度迟缓得仿若翻书一般。Flink 3.0直接与摄像头以及直播流进行对接, 于GPU之上运行全模态模型, 把“看画面”所需要的算力施加于硬件之上, 仅仅几毫秒便能够识别出球员、裁判以及足球。

这一步的关键之处在于, 要将大模型 API里的模型或者本地部署的模型嵌入到流计算当中, 而并非是进行离线跑批, 举例来说, 就如同画面里梅西带球过人的情况, 模型能够在瞬间辨别出动作, 接着把“梅西”“突破”“禁区”等标签及时传送给下一环节。

推理解说像人一样连贯

当理解完画面之中的信息以后, Flink 3.0将这些带有标识的内容给予大模型, 以便让其推导出完整的解说话语。举例来说, “梅西于左边的道路进行突破, 连续逾越两个人, 在禁区范围之内抬起脚来射门” , 整个的进程不超过一秒钟, 延迟主要是滞留在模型的推理环节之上。

现阶段，绝大多数VL模型在进行处理时, 所产生的延迟较为显著, 整个链路的延时大约为25秒。不过, 如果采用流音频模型的话, 那么延迟便能够缩短至几秒之内, 并且现场感会更为强烈。这情形犹如你在观看球赛的同时, 耳边还萦绕着朋友没完没了的唠唠叨叨, 虽说反应会慢上半拍, 可阐述的条理却是清晰分明的。

记住过去才能总结全场

不只盯着现成状况的解说员, 还得去回顾半场比赛的发展态势。把刚才已经发生的全部事件都沉淀成为“实时上下文”的Flink, 涵盖进球、犯规以及换人这些情况, 存储于状态管理之中, 随时能够调取出来进行交叉分析。

比如, 当半场结束之际, AI具备自动生成总结的能力, 此总结内容为“上半场控球率呈现出百分之六十对百分之四十的状况, 射门次数为八比三”, 甚至于能够剪出精彩镜头构成的集锦。这是由于系统始终铭记着相关数据, 所以回溯这件事情已然不再成为难题。

流式Agent颠覆对话模式

之前聊天, AI都是你问一句, 它才答一句, 类似Siri或者GPT。Flink 3.0掀掉那个“等人开口”的壳子, 转而朝向流式Agent, 事件能触发, 7×24小时保持在线状态, 能够自主进行决策, 还能自主维护记忆。它不会等别人呼喊, 要是自己看到产生异常情况, 就会立刻采取行动。

举个例子, 那种对话式的Agent犹如店小二一般, 只有你点了菜它才会有所行动；而流式Agent则类似自动炒菜机, 一旦火候达到便自行翻勺。在字节、美团以及快手的实时管道当中, 存在着同一个引擎, 此次Flink将自身从“算报表”的角色升级成为了“养Agent”的基座。

全模态引擎配Agent操作系统

Flink 3.0 并非仅仅用于处理数据, 它还促使 Flink Agens 项目得以孵化, 为 Agent 配备了一套操作系统。该操作系统涵盖 Agent DSL、算子, 再加上原生的流处理、状态管理以及故障容错功能, 使得 Agent 能够实现 7×24 不间断运行, 无需人工操心。

全模态引擎致使 AI 能够“看得清”了, Agent – OS 有着让其“记得住、想得通”的功效, 并且增添加加这么个 Lake 层用以确保数据不会饿着。这样一套组合拳, 使得流式 Agent 从概念转变成为工程化产品了。

真实场景已在跑

企业的IT系统当中, 机器心跳、日志以及应用事件每秒都会有海量涌出的情况, 这天然地适合流式Agent。以往是依靠运维专家查看告警, 而现在是系统自己盯着log, 进而判断是否要更换机器或者提前进行预警。直播流同样能够对内容进行实时监控, 还能给导播提出建议。

有一种更为聪明的做法采用规则加以初筛然后让AI进行加权判断, 举例来说在广告竞价这种场景之下, 系统会抓取用户的点击流, 然后在分类之后存储成上下文, 做完这些之后模型会实时地去决定是不是要进行调价投放, 流式Agent并不要求去推翻现有的规则, 仅仅要求把事件流接入到AI管道当中。

你认为这种无需询问便会自行开展工作的AI, 往后会不会替代你身旁的同事? 在评论区讲讲你的见解, 顺便点个赞, 再分享给有需要的朋友。