AI资讯

李飞飞团队新研究:用视频自动生成机器人仿真环境,解决Sim2Real难题

智能摘要

这项被称为“SimFoundry”的系统,通过一段真实世界的视频,即可自动生成一个具备交互能力、可进行训练与评测的机器人仿真环境。随着该系统的开源与应用,具身智能机器人的开发流程有望迎来重大变革——不再依赖昂贵的人工采集与建模,而是通过生成式技术,让机器人更快地从实验室走向真实世界。

视频即仿真,打破具身智能壁垒

从前做机器人仿真, 价格昂贵且难度极大, 如今出现了全新的解决办法, 李飞飞团队与英伟达GEAR实验室携手合作, 问世了一个名为GEAR的崭新系统, 它并非依靠人工逐一构建场景, 只需给予一段真实世界的视频, 便能够自动生成可用于训练机器人的仿真环境, 这无疑是具有颠覆性的变革。

传统方法, 需要花大价钱去购置设备, 还要精心布置场景, 并且得有懂得3D建模的人员对其进行修修补补。如今情况不同了, 仅仅一段视频就能搞定所有相关事宜。系统能够自动拆解视频之中的物品, 明确知晓哪一个是杯子, 哪一个是桌子, 它们是以怎样的方式进行运动的, 以及是否能够被拿起来。门槛瞬间被降至极低的水平, 就连普通的开发者也能够熟练运用高级仿真技术了。

数字孪生加表亲,数据多到用不完

构成这个系统的核心魔法称作“数字孪生”搭配“数字表亲”,首先借助对视频展开分析, 将现实当中的物体丝毫不差地搬至电脑之内, 打造出高度仿真化的数字镜像, 这就是所谓的数字孪生, 每一棵树、每一个把手都把物理特性予以还原, 随后, 系统开展类似于魔术的操作, 改变颜色、变换位置、甚至更改任务目标。

经由这些改变, 它能够在瞬间创造出成千也上万的相似场景, 此即所谓的“数字表亲”。倘若你期望机器人练习接住苹果, 它便会为你构建一万个苹果场景;要是想练习打开冰箱, 它就会变幻出纷繁多异的冰箱。开发者获取到这些数量巨大的数据后, 径直拿去训练模型, 再也无需担忧数据不足, 随心所欲即可训练。

预测精准,零样本迁移成现实

仅仅具备环境是不足够的, 关键之处在于非得精准, 实验证实, GEAR所生成的仿真环境着实相当可靠, 处于虚拟世界里所测试得出的机器人表现, 与真人于现实之中达成的结果高度契合, 这表明, 即便你于电脑里练习得极为出色, 放置到外界也不会出现失误, 这样一种高一致性, 化解了长期以来给业界带来困扰的“仿真到现实”的鸿沟难题。

更值得一提的是“零样本”迁移能力, 机器人无需针对每个全新环境, 再次从起始点开始学习, 它于先前一个仿真场景里所学习到的策略, 直接运用至另一个全然不同的真实场景之中, 同样能够出色地完成任务, 不管是复杂的多步操作, 抑或是两只手协同配合, 它都能够应对得轻松自然, 这彰显出机器人确实掌握了“举一反三”的能力, 而非仅仅依靠死记硬背。

顶尖团队联手,开源推动行业变革

这次研究阵容堪称豪华, 是由李飞飞教授带头引领, 与英伟达GEAR实验室以及佐治亚理工大学等诸多顶尖机构一并共同完成的。这些名字在人工智能跟机器人领域全都是极具影响力的大佬。他们之间的合作不但意味着技术底层的突破, 而且也代表着行业标准有被重新塑造的可能性。论文已经宣布公开,代码也将会进行开源, 这对于整个社区而言都是极大的利好之事。

在GEAR系统开放应用的情况下, 具身智能的开发流程会迎来重大变革。以往那种依靠昂贵人工进行采集, 既耗费时间又消耗精力的建模方式会成为过去。被取代的是, 基于生成式技术的自动化流水线。机器人会迅速从实验室迈向家庭、工厂等现实世界, 极大缩短研发周期, 加快落地进程。

告别高昂成本,拥抱无限可能

对于中小公司而言, 这无疑是个极大的好消息, 对于初创团队来说也一样。过去唯有巨头方可玩得起的高精仿真, 如今大家均可使用了。低成本意味着存在着更多的创新以及试错机会。你能够以极低的成本去验证想法, 进而迅速迭代产品。这将会激发出数不清的新应用场景, 推动整个行业呈现爆发式增长。

与此同时, 这构成了对传统仿真工具的一回降维打击, 那些仍在售卖昂贵软件许可证的公司, 只怕会面临极大的压力, 缘由在于基于视频生成的方案着实太过高效、太过便宜了, 未来的竞争, 并非是算力的较量, 而是究竟谁能够更优地借助生成式AI去理解世界、重构世界。

机器人进化,你我生活将有何变?

GEAR系统出现了, 这使得机器人距离我们更近了一步。去想象一下, 未来扫地机器人能够自行学习家中复杂的布局, 工厂里的机械臂可以迅速适应新品种零件的加工。所有这些都源自更具智慧、更为便宜的训练方式。技术不再处于高高在上的状态, 而是变得伸手就能够到。

但是, 我们同样需要去思考, 当机器人能够以这般快速的速度从视频里习得了技能, 那么安全以及伦理方面的问题该如何去解决? 要是任何一个人都能够轻轻松松地训练出强大的机器人, 这会不会引发新的风险? 你认为这项技术是会促使机器人更加快速地进入到你的家中, 还是会带来无法进行控制的隐患? 欢迎在评论区讲述一下你的看法。

相关文章