您好,欢迎进入AG真人国际(中国)官方网站有限公司官网!

咨询热线:

020-88888888

科学家开发可提高3D感知能力的模型实现四足机器人在复杂地形自由行走

发布时间:2024-10-04 07:18人气:

  借助机器人的本体感觉对足式运动进行研究已有数十年。在以往的研究手段中,研究人员往往采用基于模型的方法开发神经网络控制器。但是,这类方法无法在那些现实世界里没有见过的环境中得到应用。

  近年来,为了获得更好的泛化性和鲁棒性,研究者们开始采用无模型强化学习,在模拟中训练控制器,然后将学习到的策略直接转移到真实的机器人上。

  那么,如何在无需遥控器操控的条件下,让四足机器人实现在复杂地形上自由流畅地行走呢?

  近期,来自美国加州大学圣地亚哥分校和麻省理工学院的研究团队,开发了一个可以提高机器人 3D 感知能力的模型,能够支配四足机器人在各种困难地形场景下完成自动化行走,比如爬楼梯、踩石头、在树林中走路等。

  如视频所示,该四足机器人的额头上装有前置的深度摄像头,该摄像头向下倾斜的角度,可以帮助该机器人前面的两足,根据所看到的前方场景和脚下地形做出正确的行动决策。但其后面的两足必须先记住前面看过的内容,才能确保在经过时踩在正确的位置上。

  所以,这中间存在一个重要的问题,即需要一个短期的 3D 环境记忆体,能够使得机器人的四足都对三维环境有良好的感知和模拟。

  为此,该团队构建了一种神经体积记忆(Neural Volumetric Memory,AG旗舰厅官方网站NVM)架构,可以先借助自监督方法对视频帧中的三维特征进行学习,再用几何变换把这些三维特征投影到同一个空间下面,最后通过模型将所有的特征信息融合在一起,让机器人对它所处的 3D 环境建立起短期记忆。

  其中,需要说明的是,将上述带有特征的全部视觉信息综合在一起,可以帮助四足机器人记住其看到的内容,以及足部之前做过的动作,并利用这些记忆指导它下一步行动。这也表明,NVM 能为机器人执行决策提供可靠的 3D 结构信息,并为足式机器人利用视觉进行观察开辟新的可能性。

  加州大学圣地亚哥分校博士研究生杨睿涵为该论文的第一作者,加州大学圣地亚哥分校助理教授。

  据介绍,该研究始于 2022 年 1 月。在当时的条件下,该团队先在模拟器环境下进行训练,再转至机器人上进行部署和测试。NVM 模块可以令四足机器人在模拟环境和真实世界中穿越复杂地形,并获得更好的模拟-真实泛化结果。

  但是,由于模拟器和机器人在物理和视觉方面都存在一些差距,因此需要克服许多有难度的工程问题。此外,从模拟器中制定任务,以及做强化学习训练所需的代码,也需要该团队自行开发。

  据了解,这项成果建立在该团队之前的一项研究上,此前,该团队使用强化学习和基于 Transformer 的模型,将本体感受和视觉信息相结合,使得四足机器人能够避开障碍物,在不平整的地面上行走和奔跑 [2]。

  “我们目前这项研究是在不同帧上抽取三维特征,把它们放到同一个三维空间下进行合并,而之前的那项研究仅仅将不同帧直接合并起来,当做一个视频放入卷积神经网络中,没有做太多三维理解。”谈及本项成果取得的进展,表示,“并且,之前机器人能完成的任务比较简单,不能实现爬楼梯或踩木桩这种比较困难的任务。”

  不过,该团队也表示,他们目前开发的模型还存在一些局限性。首先,不能引导四足机器人到达指定的目的地;其次,完成部署后,机器人只能简单地走一条直线,如果看到障碍物,会通过另一条直线避开;此外,机器人还不能精确控制其去向。

  从应用层面上看,相较于安装轮子才能走路的机器人,四足机器人的通用性更强。比如,其可以用于应急救援领域,执行受困人员搜救、废墟清理等任务;用于下水管道探测等。

  后续,该团队不仅计划开发更多用于规划机器人的技术,还打算在四足机器人上增加机械臂,来执行抓取、开门等任务;同时,他们也想让机器人实现更多创意性的技能,诸如跳跃、踢球等。

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  儿童玩沙时被载客大脚车碾压 当地文旅局:伤者病情稳定,涉事运营区域已关停

  帕劳和斐济要求中国就试射洲际导弹给出解释,网友:你们还是多关心气候变暖吧

  排队太久!《黑神话:悟空》取景地小西天被喊差评!当地致歉:倡议本地居民让路让景

  谷歌27亿美元挖走明星创始人及精英团队,Character.ai放弃AI大模型研发

  使用这种第三方充电壳 可以轻松将所有早期苹果AirPods升级到USB-C接口

  5999元 索尼新款27寸显示器上市:4K 160Hz屏、背光扫描技术


020-88888888