零样本视觉模仿
我们提出了一种学习模仿专家行为并能在以前未见过的领域进行迁移学习的算法。通过使用 AnnealedVAE 来学习一个解缠缚状态表示,并通过学习一个单一的 Q 函数来模仿专家,我们结合了深度强化学习中的最新进展,从而克服了奖励函数设计的困难、在不同领域部署已学习策略的困难,以及直接在现实世界中学习由于安全问题而昂贵或不可行的问题。在 3 个环境中展示了我们方法的有效性,这些环境的难度和迁移知识类型各不相同。
Oct, 2023
通过探索复杂任务的组合性,我们提出了一种新颖的基于技能的模仿学习框架,实现了一次性模仿和零次适应,能够从单个演示中学习复杂任务,并针对随时间变化的环境隐藏动力学优化行动序列,通过视觉 - 语言模型学习语义技能集合,并使用动力学推断来实现零次技能适应。我们通过多个一次性模仿场景对我们的框架进行评估,展示了其在学习复杂任务、泛化动力学变化以及在不同演示条件和模态下的优越性,相比其他基线模型。
Feb, 2024
该研究提出了一种模型无关的深度强化学习方法,利用少量的演示数据来协助强化学习代理。作者将该方法应用于机器人操作任务并训练了端到端的视觉 - 动力学策略,直接从 RGB 相机输入到关节速度。实验结果表明,与仅使用强化学习或模仿学习训练代理的结果相比,作者的强化和模仿代理取得了显著的性能提高。此外,这些训练有素的策略在模拟到现实世界的零样本情况下也能获得初步的成功。
Feb, 2018
本文介绍了一种使用神经网络和 Transformer 注意机制的方法,通过向机器人展示上下文视频来缩小机器人学习中的领域差距,并实现了对单次操作任务的 2 倍成功率提升。
Nov, 2020
本文旨在通过模仿学习的角度研究如何通过扩大数据采集并建立交互灵活的学习系统来促进基于视觉的机器人操作系统向新任务的泛化,当扩展真实机器人的数据采集到 100 个不同的任务时,我们发现此系统可以实现 24 个未见过的操作任务,平均成功率为 44%。
Feb, 2022
我们研究了从单个人类表演视频中学习多阶段基于视觉的任务,同时利用不同对象的子任务演示数据,学习如何从原始像素中学习基本行为并动态组合这些行为以执行多阶段任务的方法。
Oct, 2018
本文研究应用 Imitation Learning 和 transfer learning 方法解决 Duckietown 场景下的机器人车道跟踪问题,并通过 sim-to-real 方法进行实际环境迁移,最终比较了三种 Imitation Learning 方法和两种 sim-to-real 方法的优缺点。
Jun, 2022
本研究提出一种元模仿学习方法,通过深度神经网络对机器人进行高效学习,使机器人能够从一个单独的示例中获取新技能,并能够终端到端地学习。实验结果表明,该方法能够扩展到原始像素输入,并且需要较少前置任务数据,具有广泛的应用前景。
Sep, 2017