谐波移动操作
本研究提出一种名为神经导航移动操控(N$^2$M$^2$)的方法,通过将移动操控任务分解为任务空间中的简化运动生成器和移动基地的训练强化学习代理,同时通过对复杂障碍环境的扩展,可以在未知环境中执行不可见、长视距任务,并立即对动态障碍和环境变化做出反应。
Jun, 2022
在本研究中,我们介绍了一个全套解决方案,即开放世界移动操作系统,用于处理开放且无结构的环境中的真实关节对象操作,如真实世界中的门、柜子、抽屉和冰箱。我们还开发了一种低成本的移动操作硬件平台,能够在无结构环境中进行安全和自主的在线调整。
Jan, 2024
HomeRobot 是一种经济实惠的柔性机器人,可在家中导航和操作各种物品以完成日常任务,Open-Vocabulary Mobile Manipulation 是其面临的挑战,该文介绍了一个基于模拟的基准测试,使用强化学习和启发式模型等基线,并探讨了改进性能的方法。
Jun, 2023
通过使用主动视觉系统来有意识地感知和应对环境,我们开发了一种移动操纵框架,该框架利用移动机械手的能力来移动和观察,从而能够在复杂混乱的场景中导航并展示灵活的全身协调,而无需创建环境地图。
May, 2024
本文介绍了一种新颖的交互式多对象搜索任务,并提出了一种层次强化学习方法,学习探索、导航和操作技能,该方法在模拟和实际的实验中展示了零样本迁移和对不同机器人运动学的适应性。
Jul, 2023
在该论文中,我们演示了 TeleMoMa,这是一种用于移动操纵机器人的整体远程操作的通用模块化接口。通过使用多种人机接口(包括 RGB 和深度摄像机、虚拟现实控制器、键盘、游戏杆等),TeleMoMa 降低了人们提供移动操纵演示的门槛。通过在仿真和现实世界中远程操作多个现有移动操纵器,我们展示了 TeleMoMa 的多功能性。通过训练移动操纵任务的模仿学习策略,并通过用户研究评估不同人机接口组合下初学者学习收集演示的难易程度,我们展示了使用 TeleMoMa 收集演示的质量。我们希望 TeleMoMa 成为一个有用的工具,使研究人员能够收集整体移动操纵演示。
Mar, 2024
我们在 NeurIPS 2023 的 HomeRobot:开放词汇移动操作(OVMM)挑战中改进了强化学习基准模型,包括更准确的语义分割模块,以及更好的放置技能策略和高级启发式方法,在测试数据集的标准分割上,整体成功率提高了 2.4%(七倍的改进)和部分成功率提高了 8.2%(1.75 倍的改进)。在模拟和真实场景的挑战中,我们的代理获得了第三名的成绩。
Jan, 2024
该研究开发了 HARMONIC 数据集,该数据集包含 24 个不同的人参与 6 自由度机械臂的辅助进食任务的人,机器人和环境的数据视图,这些数据包括眼部视频,头戴式摄像机的自我视频,操纵杆命令,前臂使用的肌电图,第三人称立体视听视频以及机械臂的关节位置,可以帮助研究者推断人类的意图和心理状态。
Jul, 2018
该研究介绍了我们的 UniTeam 代理 —— 一个改进的基线模型,用于处理在陌生环境中的导航问题、新物体的操作问题以及开放词汇的物体识别问题。通过评估基线代理的性能,并改善感知、导航和操作技能,实现了在感知方面的缺陷最小化、导航方面的无限循环问题解决、取物方面的因物体能见度变化导致的失败问题解决以及放置方面的准确定位以成功放置物体。
Dec, 2023