Sep, 2023

通过价值函数预训练的互联网视频机器人离线强化学习

PDF
TL;DR本研究通过开发一种基于时间差分学习的系统，在机器人离线增强学习中利用大规模人类视频数据集，展示了通过视频数据集进行价值学习相较于其他视频数据学习方法更具有推广性，并且与机器人多样化数据的离线增强学习方法结合，产生在操作任务中执行更好、更稳定和具有广泛泛化性能的价值函数和策略。
发现论文，激发创造
  • 利用视频的强化学习：将离线观察与交互相结合

    本文介绍了一种基于人类经验学习实现强化学习的方法，该方法利用了人类视频经验中丰富的视觉信息，结合机器人自身收集的数据，在学习视觉技能方面取得了比常规方法更好的效果。

    Nov, 2020

  • 在真实环境中微调离线世界模型

    通过使用离线数据集在真实机器人上对世界模型进行预训练，然后通过使用学习模型进行在线数据集的规划和微调，本文试图解决强化学习在真实机器人上训练时的数据效率问题，以及模型在训练和推理过程中的分布偏移问题，该方法在模拟环境和真实机器人上的视觉 - 动作控制任务上进行了验证，发现即使离线数据有限，该方法也能实现对已知和未知任务的少次数微调。

    Oct, 2023

  • 在真实机器人硬件上进行离线强化学习的基准测试

    从先前记录的数据中学习策略是实现真实世界机器人任务的一个有前景的方向，我们提出了一个基准，其中包括：使用能力强大的强化学习代理在模拟中训练的两个任务的熟练操纵平台的大量离线学习数据的收集，在真实世界机器人系统和模拟中执行学习策略的选项以进行高效调试。我们评估了知名的开源离线强化学习算法，并为真实系统上的离线强化学习提供了可重现的实验设置。

    Jul, 2023

  • 可执行模型：无监督离线强化学习的机器人技能

    本文提出了使用自回归进行离线机器人技能学习，并通过先前的数据学习环境的形式理解，该方法可以处理高维相机图像，可以学习到许多技能，并通过一系列技术进行训练，此方法具有较强的泛化能力，可以在多个目标之间进行目标链接，通过预训练或辅助目标学习到丰富的表示。

    Apr, 2021

  • 机器人的精细调整简化：自主现实世界强化学习的预训练奖励和策略

    通过使用预训练和微调范式，我们引入 RoboFuME 系统，利用网络上的数据和模型，允许机器人在几乎没有人工干预的情况下学习新任务，并通过利用校准的离线强化学习技术和预训练的视觉语言模型构建健壮的奖励分类器，在线进行微调并提供奖励信号，从而达到最小化人工干预的目标。在五个真实机器人操作任务和模拟实验中，我们的方法表现出色。

    Oct, 2023

  • 离线无模型机器人强化学习工作流程

    本文提出了一种实用的线下强化学习工作流程，类似于监督学习问题的工作流程，并演示了在几个模拟机器人学习场景和两个不同真实机器人上的三个任务中，使用此工作流程在没有在线调整的情况下生成有效策略的有效性。

    Sep, 2021

  • 视频预训练（VPT）：通过观看未标记的在线视频学习行为

    该研究探索了如何利用半监督式模仿学习的方法，在游戏领域中通过预训练行为先验模型来实现强化学习，从而达到人类甚至更高的行为水平。

    Jun, 2022

  • 从互联网视频中迈向通用机器人学习：一项调查

    该研究综述了在强化学习和机器人领域中学习视频的方法，重点关注能够扩展到大规模互联网视频数据集，并从中提取关于世界动力学和人类行为的基础知识的方法。该综述介绍了学习视频的基本概念、相关挑战以及应对方法，并讨论了学习视频的机器人学习方法和数据集等方面的问题和机会。

    Apr, 2024

  • 深度视觉预见性规划机器人动作

    本论文提出一种基于无标注训练数据的方法，结合深度动作条件视频预测模型和模型预测控制，使真实机器人能够进行非抓取操作，比如推动物体，并且可以处理训练过程中没有出现过的新物体。

    Oct, 2016

  • VIP：通过价值内隐预训练实现通用视觉奖励和表示

    本研究提出了一种称为 VIP 的表示自学习方法，通过自监督目标条件强化学习的方式从未标注的人类视频中生成稠密的，可平滑的奖励函数，克服机器人数据获取上的困难，并在实验中表现出优异的表现。

    Sep, 2022