本文通过模仿学习的方式解决在复杂情况下通过学习实现物体操作技能的问题,提出了一种可以应用于各项任务的无先验奖励的泛化策略学习方法,并通过几个关键技术,包括生成式对抗自我模仿学习、不断完善的判别器和平衡专家池中的实例,显著提高了分类水平操作策略学习的效率和泛化能力。实验结果在 ManiSkill 基准测试中都有明显改善。
Mar, 2022
本文旨在通过模仿学习的角度研究如何通过扩大数据采集并建立交互灵活的学习系统来促进基于视觉的机器人操作系统向新任务的泛化,当扩展真实机器人的数据采集到 100 个不同的任务时,我们发现此系统可以实现 24 个未见过的操作任务,平均成功率为 44%。
Feb, 2022
通过理论上回答测试环境存在干扰因素时造成泛化差距的关键因素,我们的研究论文弥合了这一问题,指出在训练和测试环境之间尽量减小表示差距是最关键的,这与人类直觉相吻合。我们的理论结果得到了 DMControl 泛化基准测试 (DMC-GB) 的实证证据支持。
Feb, 2024
通过大规模机器人数据收集,研究表明,在考虑环境因素的情况下利用组合性训练数据,可以更好地提高机器人政策的泛化能力,从而避免收集针对特定情况的数据。
Mar, 2024
这篇研究论文介绍了一种将自然语言引入模仿学习中的方法,可以让专家在提供动作演示的同时,提供自然语言的描述。通过融合语言、知觉和动作的关系,实现了更加精细的控制,降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明,此方法可有效学习自然语言条件下的机器人操作策略,并与其他方法相比做出了明显改进。
Oct, 2020
本研究旨在利用标注不足的人类视频示范来改进基于视觉的机器人操作学习数据,通过引入图像遮蔽的方法,提高眼手相机机器人操作策略的成功率达 58%。
Jul, 2023
通过对 17 种无监督,弱监督和完全监督的表征学习方法进行测试,本文观察到这些模型对于简单数据集中存在的发生因素都无法正确学习机制,且随着测试数据集的现实性增强,它们的泛化能力显著下降。
Jul, 2021
本研究旨在从自然语言文本中获取信息,进而训练机器人进行各种日常生活任务。我们通过探索一系列最重要的问题,来提出一种有效的机器人控制学习方法,该方法结合了分层控制、多模态变换编码器、离散潜在计划和自监督对比损失。同时,我们使用所提出的方法,成功地在机器人 CALVIN 基准测试中,超越了现有研究成果。
Apr, 2022
提出了一种解耦表示学习与行为学习的视觉模仿学习方法,使用标准的监督和自监督学习方法来学习视觉表示编码器,然后使用非参数局部加权回归来预测行为。实验结果表明,这种简单的解耦可以提高视觉模仿模型在离线演示数据集和实际机器人开门方面的性能。
Dec, 2021
机器人学中的评估与模拟环境之间的控制和视觉差异是可靠的模拟评估的关键挑战,在创建适用于常见真实机器人设置的 SIMPLER 模拟环境的基础上,我们证明了在这些环境中的政策表现与真实世界中的表现之间的强相关性,同时准确反映了真实世界的政策行为模式,通过我们的工作流以及开源的 SIMPLER 环境,促进了通用操作策略和模拟评估框架的研究。
May, 2024