谷歌Gemini视频大升级!10秒记忆,AI视频不再抽卡
真正的突破是,谷歌把过去AI视频最折磨人的几件事,一口气全改了。好好好,AI视频这次终于不只会「再抽一张」了。所以过去大家用AI视频,基本就是随缘抽卡,生成,不满意,重来。第三个新能力是视频参考,最多3秒的参考视频,可以和图片、文字混着一起丢进去。抽卡时代,到头了。
上下文记忆大升级
谷歌此次进行更新, 其最大的亮点之处, 在于把续拍的时候的上下文理解窗口, 从原本的1秒大幅度拓宽成为10秒。这就意味着模型能够记住更长的剧情线索, 不会再出现因为“金鱼记忆”而导致的画面断裂情况。开发者所做的测试表明, 单次续拍能够稳定地衔接40秒的内容, 镜头的推移、角色的动作都能够连贯地呈现出来。
以往, 用户予以生成的AI视频, 常常会由于背景出现突变、人物进行换装,从而反复开展重生成的操作。当下, 模型能够维持角色发型、服装色温乃至台词语气的一致性。有着团队运用新模型拍摄了一段时长为30秒的港口对话场景, 对话持续进行、画面保持不乱, 而这在Veo时代几乎是难以达成的。
接戏走位成常态
Omni 1.1能让用户于续拍之际精准地明确人物走位以及镜头运动方向。在测试案例里, 先是有红发女子特写, 而后镜头进行横摇, 接着卷发男人以自然状态让背影进入画面, 随后又慢慢地拉远, 场景从墓穴逐渐过渡至悬浮图书馆, 且整个过程不存在剪辑点。这般具备导演级别的调度能力, 促使AI视频由单镜头拼凑朝着完整叙事转变。
又有一组演示运用了电影级别的运镜指令, 其中包括移动变焦, 还有机械急推, 以及360度环绕。摄影机在向前推进的当儿, 同时拉远镜头, 这时背景中的石柱产生了强烈的透视畸变, 而角色的表情自始至终都被锁定于画面的中央位置。随后, 镜头环绕着冻结的角色, 聚焦于其大衣飘动的细节之处, 进而展现出了模型对于复杂时空关系的理解。
首尾帧定调复杂运镜
新功能可让用户直接上传起始帧以及结束帧, 模型会自动生成中间过渡画面。此设计主要是针对专业用户经常有所需求的转场技巧, 好比物体传送、恰似形变匹配、仿佛天空替换等。测试视频呈现出一条流程通畅的大厅运镜情节: 先是从低角度特写鼓手 , 紧接着甩镜过后露出萨克斯手同芭蕾舞者 , 最终镜头推进到老电视屏幕从而形成无限循环。
这种能力把原本依靠多次抽卡碰运气的那种复杂运动, 转变为能够掌控的确定流程, 某看房应用接入了此功能, 能够在房间里平滑地穿梭, 会自动挑选一天之中最优的光线, 并且不会毫无缘由地添加不存在的家具, 这大幅降低了视频制作的试错成本。
视频参考告别繁琐描述
在使用时首先要明确, 用户是存在着一个限制条件的, 即最多能够upload 3秒的参考视频, 并且这个参考视频还要与图片、文字提示混合并用以利用, 而后直接就行指定那方面。概念演示这块, 三段舞者视频是被当作动作参考来用的, 当有了输入角色形象之后, 新人物在提供的开阔场景里各自进行起舞, 最后合成一段没有场景切换的一镜到底视频。
这项功能将传统 AI 视频创作的沟通方式予以改变, 创作者不用去冗长描述每个动作细节, 仅只需提供视觉范例就行, 开发团队反馈称, 这让复杂舞蹈、体育动作的生成效率显著提升, 特别适用于需要维持特定节奏和姿态的内容产出。
草稿试错成本骤降
谷歌将推出名为360p之草稿功能, 此功能专为能够迅速核验创作方向而得以特定设置, 于720p完整生成一回需收费一亿美元之时, 360P之草稿类型仅需缴纳0.3美元, 经由反复测试表明, 针对时长达到一旬的镜头做足足20个不同方向的创造性尝试, 所有草稿累计成本仅需6美元, 待方向选定之后再升级为4K画质仅需额外支出3美金方可达致。
配套工具Draft Room运用分维度迭代策略, 一条提示词能生成四个变体, 每次仅修改一个参数, 像镜头角度或者光照条件, 并列对比之后挑选最优方案, 而后统一提升分辨率, 如此这般的工作流曾助力多个内容团队把前期创意验证周期缩短了70%。
从抽卡到导演的转变
从事相关行业的创作者们普遍持这样的看法, Omni 1.1所具备的整合功能意味深远, 它标志着借助AI进行视频制作进入到了由导演占据主导地位的阶段。Figma Weave的创意总监这样精准指出, 目前该团队能够依据分镜脚本、参考视频以及首尾帧这些要素作为指引, 从而有条不紊、系统化地去指挥整个生成流程, 并非处于被动状态来接受那些随机产生的结果。
从身为开发者的人员, 到普通进行订阅操作的用户, 所有高低不同层级都是能够使用这些全新功能的。经过评估判断得出, 在往后的一年时间之内, 专业致力于视频制作的公司会首先去采用这样一类工作流程,并且爱好者类型的用户也是可以凭借草稿相关工具以及视频参考内容来降低创作方面的难度门槛的。AI视频之间竞争的重点关键点已经从画质的物理模拟方向转至可控特性以及创作的自由程度方向了。
什么样的创作想法, 是你当前最为想要借助AI视频去达成的? 诚挚欢迎你来分享一下你的应用场景,或者是你所抱有的疑问。