Sep, 2023

通过价值函数预训练的互联网视频机器人离线强化学习

HTML
PDF
TL;DR本研究通过开发一种基于时间差分学习的系统，在机器人离线增强学习中利用大规模人类视频数据集，展示了通过视频数据集进行价值学习相较于其他视频数据学习方法更具有推广性，并且与机器人多样化数据的离线增强学习方法结合，产生在操作任务中执行更好、更稳定和具有广泛泛化性能的价值函数和策略。
发现论文，激发创造
  • 利用视频的强化学习: 将离线观察与交互相结合

    本文介绍了一种基于人类经验学习实现强化学习的方法，该方法利用了人类视频经验中丰富的视觉信息，结合机器人自身收集的数据，在学习视觉技能方面取得了比常规方法更好的效果。

    Nov, 2020

  • 采用潜空间模型的基于图像的离线强化学习

    该研究提出了一种基于模型的离线RL算法，该算法可扩展应用于高维视觉观测空间，通过学习潜在状态动力学模型并在潜在空间中表示不确定性来克服图像观测的挑战，并在多项具有挑战性的基于图像的移动和操纵任务中取得了优异的表现。

    Dec, 2020

  • 可执行模型: 无监督离线强化学习的机器人技能

    本文提出了使用自回归进行离线机器人技能学习，并通过先前的数据学习环境的形式理解，该方法可以处理高维相机图像，可以学习到许多技能，并通过一系列技术进行训练，此方法具有较强的泛化能力，可以在多个目标之间进行目标链接，通过预训练或辅助目标学习到丰富的表示。

    Apr, 2021

  • 离线无模型机器人强化学习工作流程

    本文提出了一种实用的线下强化学习工作流程，类似于监督学习问题的工作流程，并演示了在几个模拟机器人学习场景和两个不同真实机器人上的三个任务中，使用此工作流程在没有在线调整的情况下生成有效策略的有效性。

    Sep, 2021

  • 通过观察人类学习机器人操作的奖励函数

    该研究通过使用未标注的人类操作视频来学习机器人操作策略的任务不可知奖励函数，并采用时间对比学习得到的嵌入空间中的距离以及直接时间回归来评分从而实现在各种任务上重复使用一个模型，从而能够在多个操纵任务上加速训练，而无需从机器人环境中获得先验数据，也无需使用特定于任务的人类演示数据。

    Nov, 2022

  • 机器人技能学习的动作量化离线强化学习

    我们提出了一种自适应的行动量化方案，通过使用VQ-VAE学习状态条件的行动量化，避免了行动空间的指数爆炸问题，并通过离线强化学习方法在基准测试中改进了性能，同时在Robomimic环境中的复杂机器人操作任务中，离线强化学习算法通过离散化相对于连续方法实现了2-3倍的改进。

    Oct, 2023

  • 从互联网视频中迈向通用机器人学习：一项调查

    该研究综述了在强化学习和机器人领域中学习视频的方法，重点关注能够扩展到大规模互联网视频数据集，并从中提取关于世界动力学和人类行为的基础知识的方法。该综述介绍了学习视频的基本概念、相关挑战以及应对方法，并讨论了学习视频的机器人学习方法和数据集等方面的问题和机会。

    Apr, 2024

  • 从离线数据提取可转移机器人技能的高效策略学习

    使用预训练的视觉语言模型从离线数据中提取一组离散的语义相关技能，无需人工监督，通过参数化连续参数，使机器人能够学习新任务并提高样本效率和性能表现。

    Jun, 2024

  • D5RL：数据驱动深度强化学习的多样化数据集

    本研究解决了离线强化学习算法在评估时缺乏有效基准的问题，特别是在捕捉真实世界任务属性方面。通过提出一个新的离线RL基准，专注于机器人的操控和运动环境的现实模拟，并融合多种数据源，研究展现了其在离线RL和在线微调评估中的潜力和实用价值。此基准有望推动离线RL和平滑微调算法的进一步进展。

    Aug, 2024

  • 来自视觉语言模型的现实世界离线强化学习

    本研究解决了在现实世界中使用离线强化学习时，数据集需手动标注奖励标签的问题，尤其在难以确定真实状态时。我们提出一种新系统，通过使用视觉语言模型的偏好反馈自动生成奖励标签，并基于此学习策略。实验表明，该方法在复杂的机器人辅助穿衣任务中表现出色，并在仿真任务中明显优于现有基线方法。

    Nov, 2024