模仿艺术:从少量示范学习长远视野的操纵任务
本研究提出一种元模仿学习方法,通过深度神经网络对机器人进行高效学习,使机器人能够从一个单独的示例中获取新技能,并能够终端到端地学习。实验结果表明,该方法能够扩展到原始像素输入,并且需要较少前置任务数据,具有广泛的应用前景。
Sep, 2017
本文提出了一种基于高斯混合回归的新型多输出高斯过程(MOGP)方法,利用MOGP 的协方差将从演示中检索的变异性捕获起来,使机器人能够精确跟踪经过点,同时在高变异地区保持的柔顺性。
Oct, 2019
本文介绍了一种用于视觉模仿学习的简单方法,可以从一个人类演示中学习机器人操作任务,而无需先前了解与对象的交互情况,并且可以通过自监督学习进行训练。在实现过程中,该方法将模仿学习建模为状态估计问题,以目标交互开始时末端执行器的姿态作为状态,在自监督训练过程中让末端执行器的摄像头围绕对象自动移动。 最终,在测试时,机器人通过一条线性路径移动到预测的状态,然后简单地重放演示的末端执行器速度,从而获得了一个复杂的交互轨迹,而无需明确学习策略。在常见的8个任务上进行的实现结果表明,这种方法可以从单个人类演示中学习出多样的技能,并产生稳定且可解释的控制器。
May, 2021
本文提出了SAPIEN Manipulation Skill Benchmark(ManiSkill),用于在全物理模拟器中基于多种对象进行操作技能测试,旨在支持互动和演示学习方法,并提供用于3D深度学习和LfD算法的基线。
Jul, 2021
本文旨在通过模仿学习的角度研究如何通过扩大数据采集并建立交互灵活的学习系统来促进基于视觉的机器人操作系统向新任务的泛化,当扩展真实机器人的数据采集到100个不同的任务时,我们发现此系统可以实现24个未见过的操作任务,平均成功率为44%。
Feb, 2022
模仿学习中泛化难题的困难源自于视觉机器人操作中的因素变化,作者研究了模拟仿真和实际机器人任务中不同因素的泛化难度,并设计了一个新的基准测试用来评估泛化效果。
Jul, 2023
本研究旨在利用标注不足的人类视频示范来改进基于视觉的机器人操作学习数据,通过引入图像遮蔽的方法,提高眼手相机机器人操作策略的成功率达58%。
Jul, 2023
我们通过将模仿和强化学习范式相结合,开发了一种学习和适应技能的混合模型,通过学习动态系统的关键点,利用机器人在技能学习过程中的视觉观察,预测场景内的参考点,从而实现机器人在新环境中的零样本泛化能力和在目标环境中更快地优化技能的目标,同时能有效处理场景变化。
Oct, 2023
RiEMann是一个端到端的近实时SE(3)-等变机器人操作仿真学习框架,从场景点云输入中直接预测目标物体的姿态,学习任务的过程中不需要目标物体分割,具有泛化到未见SE(3)变换和目标物体实例、抵抗干扰物体的视觉干扰以及跟踪目标物体的近实时姿态变化等特点。在仿真和真实世界的6自由度机器人操作实验中,通过对5类操作任务的25个变体进行测试,RiEMann在任务成功率和预测姿态的SE(3)测地距离误差方面均优于基准模型(误差减少了68.6%),并实现了每秒5.4帧的网络推断速度。
Mar, 2024
本研究解决了学习示范中的泛化问题,特别是在运动原语的背景下。我们提出了一种互动模仿学习框架,同时利用轨迹分布的局部和全局调制,从而在模型准确性改善、任务中新增物体和在无示范区域扩展技能等方面取得显著效果。该方法在承载环加载任务中进行了评估,显示出其广泛的应用潜力。
Sep, 2024