Nov, 2020

利用视频的强化学习：将离线观察与交互相结合

PDF
TL;DR本文介绍了一种基于人类经验学习实现强化学习的方法，该方法利用了人类视频经验中丰富的视觉信息，结合机器人自身收集的数据，在学习视觉技能方面取得了比常规方法更好的效果。
reinforcement learningrobotsdata collectionhuman experiencerlv
发现论文，激发创造
  • 通过价值函数预训练的互联网视频机器人离线强化学习

    本研究通过开发一种基于时间差分学习的系统，在机器人离线增强学习中利用大规模人类视频数据集，展示了通过视频数据集进行价值学习相较于其他视频数据学习方法更具有推广性，并且与机器人多样化数据的离线增强学习方法结合，产生在操作任务中执行更好、更稳定和具有广泛泛化性能的价值函数和策略。

    Sep, 2023

  • 从互联网视频中迈向通用机器人学习：一项调查

    该研究综述了在强化学习和机器人领域中学习视频的方法，重点关注能够扩展到大规模互联网视频数据集，并从中提取关于世界动力学和人类行为的基础知识的方法。该综述介绍了学习视频的基本概念、相关挑战以及应对方法，并讨论了学习视频的机器人学习方法和数据集等方面的问题和机会。

    Apr, 2024

  • 使用离线强化学习学习影响人类行为

    本篇论文提出了一种离线强化学习方法，通过利用多样化的人机交互行为，在不需要在线训练或高保真模拟器的情况下，学习一些对人类行为产生积极影响的策略，从而提高人类在合作任务中的表现。该方法成功在 Overcooked 协作基准域中提高了人类的表现。

    Mar, 2023

  • 基于视觉观测的离线强化学习中的挑战与机遇

    本文旨在建立连续控制的视觉基线，通过离线强化学习从视角上建立简单的基线，并在数据集中严格评估算法，同时分析了离线视角下的重要的特殊需求。

    Jun, 2022

  • 可执行模型：无监督离线强化学习的机器人技能

    本文提出了使用自回归进行离线机器人技能学习，并通过先前的数据学习环境的形式理解，该方法可以处理高维相机图像，可以学习到许多技能，并通过一系列技术进行训练，此方法具有较强的泛化能力，可以在多个目标之间进行目标链接，通过预训练或辅助目标学习到丰富的表示。

    Apr, 2021

  • COG: 利用离线强化学习将新技能连接到过去的经验

    通过动态规划来利用之前的机器人行为数据拓展新的技能的研究，该方法可以允许机器人通过先前解决的任务或通过自主或无指导的环境交互来扩展和概括学习的行为，同时获得对自身环境的更广泛的理解和学习更好的策略。

    Oct, 2020

  • 通过观察人类学习机器人操作的奖励函数

    该研究通过使用未标注的人类操作视频来学习机器人操作策略的任务不可知奖励函数，并采用时间对比学习得到的嵌入空间中的距离以及直接时间回归来评分从而实现在各种任务上重复使用一个模型，从而能够在多个操纵任务上加速训练，而无需从机器人环境中获得先验数据，也无需使用特定于任务的人类演示数据。

    Nov, 2022

  • 深度视觉预见性规划机器人动作

    本论文提出一种基于无标注训练数据的方法，结合深度动作条件视频预测模型和模型预测控制，使真实机器人能够进行非抓取操作，比如推动物体，并且可以处理训练过程中没有出现过的新物体。

    Oct, 2016

  • 以人类视频中的操作性作为机器人的通用表现形式

    本论文探讨了如何通过利用互联网视频中的人类行为，训练一个可视化驱动的视觉能力模型，以此实现机器人在现实环境中的复杂任务执行。我们将该模型与四个机器人学习范式无缝连接，并在 4 个现实世界环境、超过 10 种不同任务和 2 个机器人平台中展示了其效力。

    Apr, 2023

  • 在真实机器人硬件上进行离线强化学习的基准测试

    从先前记录的数据中学习策略是实现真实世界机器人任务的一个有前景的方向，我们提出了一个基准，其中包括：使用能力强大的强化学习代理在模拟中训练的两个任务的熟练操纵平台的大量离线学习数据的收集，在真实世界机器人系统和模拟中执行学习策略的选项以进行高效调试。我们评估了知名的开源离线强化学习算法，并为真实系统上的离线强化学习提供了可重现的实验设置。

    Jul, 2023