Mar, 2021

从野外人类视频中学习通用机器人奖励函数

PDF
TL;DR该研究提出了使用 Domain-agnostic Video Discriminator (DVD) 的方法，通过对分类视频完成相同任务的数据进行学习，实现多任务奖励功能的广义推理。通过将人类数据集与机器人数据相结合，该方法可以在未知环境中实现机器人操作任务的成功执行。
generalist robotstask successreward functiondomain-agnostic video discriminator (dvd)robotic manipulation tasks
发现论文，激发创造
  • 通过观察人类学习机器人操作的奖励函数

    该研究通过使用未标注的人类操作视频来学习机器人操作策略的任务不可知奖励函数，并采用时间对比学习得到的嵌入空间中的距离以及直接时间回归来评分从而实现在各种任务上重复使用一个模型，从而能够在多个操纵任务上加速训练，而无需从机器人环境中获得先验数据，也无需使用特定于任务的人类演示数据。

    Nov, 2022

  • 交互自主学习偏好

    研究人机交互中智能机器人的学习奖励功能从而完成任务，探讨通过对多种机器人轨迹的比较反馈方式学习机器的奖励功能，包括两两比较、评分、最佳选择等，并提出主动学习技术，以优化从用户反馈中获得的期望信息，进而在自主驾驶模拟、家庭机器人、标准强化学习等领域展示了这种方法的适用性。

    Oct, 2022

  • 视频 - 语言评论家：用于语言条件机器人的可转移奖励函数

    基于视频 - 语言评论家的奖励模型，可以在现有的跨体现数据上进行训练，使用对比学习和时间排序目标，对来自单独强化学习执行者的行为轨迹进行评分。在 Meta-World 任务中，通过在 Open X-Embodiment 数据上训练奖励模型，实现了比仅稀疏奖励模型更高效的策略训练，尽管存在显著的领域差异。使用 Meta-World 上的具有挑战性任务推广设置的领域数据进一步证明，相比先前使用二元分类训练的语言条件奖励模型，静态图像或不利用视频数据中的时间信息，我们的方法实现了更高效的训练。

    May, 2024

  • 无监督感知奖励用于模仿学习

    利用深度模型学习中间视觉表示的抽象能力来从少量的演示序列中快速推断知觉奖励函数，以便在真实世界环境中使用强化学习智能体执行任务。

    Dec, 2016

  • 半监督强化学习技能泛化

    本文研究了如何在有限的标注数据下，通过半监督强化学习及反强化学习等方法，使机器人等强化学习智能体在探索未知领域时能够获得更好的泛化效果，并评估了该方法在基于图像的控制任务上的表现。

    Dec, 2016

  • 从多元人类反馈中学习奖励函数：最优化整合演示和偏好

    本文提出了一种从用户收集多源数据的框架，该框架结合了演示和偏好查询以学习奖励函数，可用于机器人模型中，并且在移动操作器 Fetch 上执行的模拟实验和用户研究验证了我们的方法的优越性和可用性。

    Jun, 2020

  • 使用神经网络奖励函数的开放式强化学习

    该研究提出了一种使用神经网络编码奖励函数的方法，通过迭代训练，以鼓励更复杂的行为，实现在高维度机器人和像素级环境下的无监督学习，从而学习包括前空翻和单腿奔跑等丰富的技能。

    Feb, 2022

  • 基于主动偏好的高斯过程回归用于奖励学习

    本文介绍了一种基于用户反馈的偏好学习方法，利用高斯过程 (GP) 对奖励函数进行建模，在不增加结构限制并避免数据不足和刚性的问题的情况下，仅通过比较轨迹即可有效学习机器人任务的表达性奖励函数。

    May, 2020

  • 通过观看 YouTube 玩耐心考验类游戏

    使用回放数据引导的深度强化学习在稀疏奖励任务中往往表现不佳，本研究提出一种使用不同来源的杂乱视频进行一次性模仿学习的方法，在多个著名游戏中实现真人游戏水平以上的表现。

    May, 2018

  • 通过价值函数预训练的互联网视频机器人离线强化学习

    本研究通过开发一种基于时间差分学习的系统，在机器人离线增强学习中利用大规模人类视频数据集，展示了通过视频数据集进行价值学习相较于其他视频数据学习方法更具有推广性，并且与机器人多样化数据的离线增强学习方法结合，产生在操作任务中执行更好、更稳定和具有广泛泛化性能的价值函数和策略。

    Sep, 2023