看懂视频不是终点，主动开口才是真本事

今日市面上的视频AI差不多全是如出自同一模子般: 你朝着屏幕询问一句“刚才发生了啥”, 它方才迟缓地给你答案。这般“你问它答”的模式, 在需实时响应的场景当中根本无法行得通——世界杯解说员不会等到导播喊话才喊“Goal”, 看护机器人也不会每隔十秒询问你“需要帮忙吗”。真实世界里最需要AI出声的那些片刻, 从来都不会等人把问题问完。

京东所开源的JoyAI-VL, 将那种被动彻底予以打破, 它并非于后台等待着你发出指令, 而是自身注视着连续不断的视频流, 去判定何时应当说话、何时应当保持沉默, 正是这种具备了“主动开口”的能力, 使得视频AI从问答的工具变成了真正能够干活的伙伴。

看护场景里它知道什么时候闭嘴

展开想象, 设想家中安装了具备AI功能的看护摄像头, 老人于客厅里正常地来回走动, 此时模型毫无声响, 只是在监测到出现跌倒状况或者存在异常情形时, 会即刻发出预警, 并非如同传统方案那般, 每隔十秒便弹出窗口询问一句: “是否需要帮助? ”, 这般频繁地进行打扰, 反倒会致使老人心生烦躁, 甚而会直接关掉系统。

这套模型对于“沉默”的拿捏相当精确, 它所运用这种关键帧技术, 仅在画面切实出现变化的帧的情形下, 花销256个全量token, 而处于中间位置的那些重复且可预测状况的帧, 仅仅借助16个轻量P-token便予以处理克服了, 如此这般, 在持续观看长达几个小时视频的状况下, token预算仅仅与画面变化量形成正比关系, 不会随着帧数呈现线性爆炸态势。

实时翻译和直播解说全程不掉线

能最充分展现其优势的是实时翻译场景, 你向它下达“把电影字幕翻译成中文”的指令, 它并非翻完一句便停下等候你发出下一条指令, 而是自行注视画面, 每当出现一行新字幕便主动展开翻译, 整个进程顺畅自然, 毫无阻滞。同样的情况, 在世界杯直播解说期间, 当目睹进球瞬间它会自行喊出“Goal”, 无需任何人去促使它这么做，全程自动完成。

背后支撑这种能力的技术是长程记忆的分层缓存, 短期记忆留存最近的原始视觉token, 中期记忆贮存文本摘要, 长期记忆进行进一步压缩, 三层合起来能够覆盖大概12小时的上下文, 并且压缩过程以异步运转, 全然不会妨碍实时推理, 这表明假使让它持续观看一整日的监控画面, 它依旧能够记住关键事件。

遇到难题它懂得找后台帮忙

要是碰到那种超出自身能力范畴的问题, 就像你对着一道数学证明题讲“帮我推导一下”, 又恰似瞅着手机界面说“用HTML把这个APP页面复刻出来”, 它不会不管不顾地硬给出一堆答案然后搞出失误。JoyAI-VL-能够主动把任务丢给后台的大模型或者Agent, 自己仍旧盯着画面陪着你, 等后台得出结果后再自然而然地接着进行对话。

例如, 它能够在将“复刻手机界面”这一任务交付给后台的同时, 持续与你进行聊天以及回应其他诸多问题；后台返回HTML代码后实现无缝衔接, 整个过程不会出现掉线情况；并且这个“后台”具备可替换性: 已完成了与Code、Agent等各类系统的桥接工作, 任意的API、模型均能够接入充当“后台大脑”；前台实时保持陪伴状态, 后台则默默开展工作, 它已然不再仅仅是一个视频问答助手, 而是一套“边看边说 + 后台执行”的协作系统。

8B小模型跑出Agent的味道

虽然听起来好像有点玄乎, 不过要是细细拆开来看的话, 情况是这样的: 前台的模型会紧盯着摄像头里呈现出来的真实世界, 而后台的Agent跑去完成诸如搜索、编写代码以及下单等属于数字世界范畴的任务。有一个仅仅8B的小模型, 竟然展现出了Agent的那种特质。京东直接把竞争对手拉进来一起做了人类评测, 在监控预警、实时计数、实时翻译、时间感知、直播解说与引导、长程记忆这般六类真实的流式场景当中, 一共有58个案例, JoyAI – VL – 与豆包和GPT – 4o展开对阵, 表现极为突出。

豆包借助轮询触发, 被卡在一问一答的模式中, 其反应始终受到外部节奏的制约, 有这样的情况。反而JoyAI-VL, 将“何时开口”这个因素训练融入到了模型的内部, 它的反应仅仅受到推理速度的限制, 是这样的状况。技术报告竟然提及了“能力涌现”, 比如导引用户于手机APP上面完成购物行为, 以及看到PPT后即兴开展讲课,这类从来没有被训练过的能力自行显现出来了。并非是背诵答案, 而是模型掌握了一种通用的“看着办”的能力, 就是如此。

开源不是给锤子而是给工具箱

曾经开源模型多数仅放出权重以及推理代码, 若想使其运行起来, 还得自身搭建半套基础建设。然而京东此次不但将vLLM推理优化放出, 还一并放出视频流接入, 以及会话状态管理, 把“开源”从“给予你一把锤子”提升成了“给予你一整套工具箱外加使用手册”。开发者能够在vLLM – Omni上通过一键拉起服务来体验, 也能够直接从京东的仓库经由一键启动。

场景清单于这套系统而言, 读起来恰似一张京东业务地图, 其中涵盖世界杯赛事直播解说, 以及监控预警, 还有老人儿童看护, 以及宠物照看, 甚至手机购物陪伴, 以及穿搭评价, 包括操作指引, 还有AI视频通话。于每一个场景当中, 人盯着屏幕之时会感到疲惫, 会出现走神情况, 然而机器却能够7×24 小时不眨眼。从“看懂”转变至“看着办”, 所差的从来都不仅仅是一个模型, 而是促使它真正得以运用起来的那片土壤。

围绕你周边、是否存在、那种需全天候紧密盯着视频的情形, 像是照料老人、监视仓库、直播讲解；要是为你提供这套开源出来的模型, 你最期望把它安置在哪些地方, 于评论区域交流交流你的看法, 给予点赞以便让更多人留意到这套可以主动开口的人工智能。