Jun, 2023

利用离线预训练状态转向转换器从视觉观察中学习

PDF
TL;DR本文提出了一种基于视觉观测的学习方法，使用两阶段的 State-to-Go (STG) Transformer 训练出内在奖励进行强化学习，实现了利用仅有视频数据解决视觉强化学习任务的潜力，并在 Atari 和 Minecraft 等数据集上表现出了比基线更好的性能。
learning from visual observationstate-to-go transformerreinforcement learningintrinsic rewardsvideo-only data
发现论文，激发创造
  • 使用状态观察器从视频中进行对抗性模仿学习

    介绍了一种名为 Visual Generative Adversarial Imitation from Observation using a State Observer (VGAIfO-SO) 的新算法，该算法使用自我监督的状态观察器从高维图像中提供低维本体感知状态表示的估计，从而更有效地从仅视频演示中学习，并且有时可以实现接近于有特权访问演示者本体感知状态信息的 GAIfO 算法的性能。

    Feb, 2022

  • 离线视觉表示学习用于体感导航

    本文提出一种名为离线视觉表示学习的方法，通过使用自监督学习在大规模图片数据上进行离线预训练，再在线微调特定任务中的视觉运动表示，并在多个数据集上进行了实验，发现该方法在图像导航和目标导航任务上均取得了显著的性能提升。

    Apr, 2022

  • 基于视觉观测的离线强化学习中的挑战与机遇

    本文旨在建立连续控制的视觉基线，通过离线强化学习从视角上建立简单的基线，并在数据集中严格评估算法，同时分析了离线视角下的重要的特殊需求。

    Jun, 2022

  • 使用潜在信息进行视觉观察的对抗性模仿学习

    基于视觉观测的模仿学习的研究，在部分可观察环境中，引入了基于状态潜在转换分布的上界来分析学习代理的次优性，并提出了一种名为潜在对抗性观测模仿学的算法，在高维连续机器人任务中表现出与最先进的性能，同时提供显著的计算优势，并可以利用专家视频来提高从像素进行强化学习的效率。

    Sep, 2023

  • 采用潜空间模型的基于图像的离线强化学习

    该研究提出了一种基于模型的离线 RL 算法，该算法可扩展应用于高维视觉观测空间，通过学习潜在状态动力学模型并在潜在空间中表示不确定性来克服图像观测的挑战，并在多项具有挑战性的基于图像的移动和操纵任务中取得了优异的表现。

    Dec, 2020

  • 使用跨模态转换器端到端学习视觉引导下的四足机器人运动

    我们提出了一种使用基于 Transformer 的模型从配 proprioceptive 信息和高维度深度传感器输入中学习的强化学习（RL）来解决四足动物行走任务的方法。

    Jul, 2021

  • 基于 Transformer 的目标导向强化学习在自主导航中的应用

    通过使用新型的 Goal-guided Transformer-enabled reinforcement learning 方法，将目标状态作为场景编码器的输入来引导场景表示与目标信息相耦合，从而有效实现自主导航。该方法具有比其他现有基线更高的数据效率、性能、鲁棒性和从仿真到真实世界的泛化能力。

    Jan, 2023

  • MVSA-Net：用于稳健且可部署的轨迹生成的多视图状态 - 动作识别

    从多个视角观察任务活动，并将它们融合在一起，以更好地识别每个帧中的状态和动作。多视角 SA-Net 在多个领域的性能评估中表明，在遮挡的情况下比单视角 MVSA-Net 和其他基准方法更准确地识别状态 - 动作对。

    Nov, 2023

  • 从视频中学习识别强化学习的关键状态

    最近的深度强化学习研究指出，即使缺乏关于执行动作的显式信息，也可以从离线数据中提取有关良好策略的算法信息。本文介绍一种名为 Deep State Identifier 的新方法，该方法通过编码为视频的剧集学习预测回报，并利用一种基于掩码的敏感性分析来提取和识别重要的关键状态。大量实验证明了我们方法理解和改进代理行为的潜力。源代码和生成的数据集可在此链接中获得。

    Aug, 2023

  • Atari 游戏中部分可观测无监督表示学习

    本文提出了一种用于部分可观测状态的无监督状态表示学习方案，相比受监督学习的 ST-DIM 方法在 Atari 游戏中的表现提高了，平均准确率得分达到了约 66％，平均 F1 得分为约 64％。

    Mar, 2023