Jun, 2023

稳定对比强化学习：离线目标达成技术

PDF
TL;DR通过对比强化学习问题的先前对比方法，我们发现，结合谨慎的权重初始化和数据增强，使用浅而宽的架构可以显著提高这些对比强化学习方法在挑战性的模拟基准测试中的性能，并且可以通过这些设计决策解决实际的机器人操作任务。
self-supervised methodsreinforcement learningcontrastive rl approachessimulated benchmarksreal-world robotic manipulation
发现论文，激发创造
  • 对比学习作为目标条件强化学习

    本文提出了基于对比学习的强化学习算法，通过学习动作标记的轨迹对比学习来直接获得好的表示，并成功地将其应用于目标条件 RL 任务。在一系列任务中，对比 RL 方法表现更好，且不需要使用数据增强或辅助目标。

    Jun, 2022

  • HIQL：将潜在状态作为行动的离线目标条件强化学习

    无监督预训练成为了计算机视觉和自然语言处理的基石。强化学习中的目标条件下增强学习可以提供类似的自监督方法，以利用大量无标签（无回报）数据。本文提出了一种基于层次结构的算法，用于从离线数据中进行目标条件下的增强学习，并证明了该方法对估计值函数中的噪声具有鲁棒性，并且能够解决具有长时间跨度的任务。

    Jul, 2023

  • 基于情境的自监督机器人学习中的虚拟目标

    研究了机器人如何通过无监督学习和条件目标设定模型自主地学习和实践行为，从而掌握丰富的技能和处理不同的任务和环境。

    Oct, 2019

  • 离线学习目标条件策略：自监督奖励塑形

    在机器人领域，通过从离线数据集中学习实现多项技能的智能体是一个重要问题。本文提出了在自监督学习阶段对预先收集的数据集进行处理以理解模型的结构和动态，并对离线学习的策略进行强化学习的方法。我们在三个连续控制任务上评估了我们的方法，并展示了我们的模型在特别是涉及长期规划任务上明显优于现有方法。

    Jan, 2023

  • 可执行模型：无监督离线强化学习的机器人技能

    本文提出了使用自回归进行离线机器人技能学习，并通过先前的数据学习环境的形式理解，该方法可以处理高维相机图像，可以学习到许多技能，并通过一系列技术进行训练，此方法具有较强的泛化能力，可以在多个目标之间进行目标链接，通过预训练或辅助目标学习到丰富的表示。

    Apr, 2021

  • 离线无模型机器人强化学习工作流程

    本文提出了一种实用的线下强化学习工作流程，类似于监督学习问题的工作流程，并演示了在几个模拟机器人学习场景和两个不同真实机器人上的三个任务中，使用此工作流程在没有在线调整的情况下生成有效策略的有效性。

    Sep, 2021

  • 具备自然语言目标的逆强化学习

    本文提出了一种新颖的对抗式逆强化学习算法，使用条件化语言政策和奖励函数，以及使用变分目标生成器提高学习策略和奖励函数的泛化性，从而使自然语言变得可用于指导智能体任务的目标， 获得了非常好的性能表现。

    Aug, 2020

  • 想象目标的视觉强化学习

    介绍了一种通过结合无监督表示学习和强化学习来获得一般技能库的算法，可以处理原始感官输入（如图像），并使用后期目标重新标记方案来进一步提高其方法的样本效率，在实际机器人系统上获得了比之前的技术更好的效果。

    Jul, 2018

  • 离线强化学习的极简主义方法

    通过在在线强化学习算法的策略更新中添加行为克隆项并规范化数据，在保持简单性的同时，最大限度地提高了运行效率，从而实现了与现有离线 RL 算法相当的性能。

    Jun, 2021

  • 重新思考目标导向式监督学习及其与离线强化学习的关联

    本文提出了一种名为 Weighted GCSL 的离线目标导向强化学习算法，通过引入高级复合权重，优化目标达成的下界限，具有优异的性能表现，特别适用于点和模拟机器人方面。

    Feb, 2022