Feb, 2022

使用状态观察器从视频中进行对抗性模仿学习

PDF
TL;DR介绍了一种名为 Visual Generative Adversarial Imitation from Observation using a State Observer (VGAIfO-SO) 的新算法，该算法使用自我监督的状态观察器从高维图像中提供低维本体感知状态表示的估计，从而更有效地从仅视频演示中学习，并且有时可以实现接近于有特权访问演示者本体感知状态信息的 GAIfO 算法的性能。
imitation learningvideo demonstrationssample inefficiencystate observergenerative adversarial imitation
发现论文，激发创造
  • 基于观察数据的生成对抗模仿

    本文提出了一种基于生成对抗网络的从观察中模仿学习方法（GAIfO），它可以在没有行动信息的情况下直接从状态演示中学习，进行了两种不同设置的实验证明它在高维模拟环境中优于现有的直接从状态演示方法。

    Jul, 2018

  • 使用潜在信息进行视觉观察的对抗性模仿学习

    基于视觉观测的模仿学习的研究，在部分可观察环境中，引入了基于状态潜在转换分布的上界来分析学习代理的次优性，并提出了一种名为潜在对抗性观测模仿学的算法，在高维连续机器人任务中表现出与最先进的性能，同时提供显著的计算优势，并可以利用专家视频来提高从像素进行强化学习的效率。

    Sep, 2023

  • 借助自我感知从视频中进行模仿学习

    该研究提出了一种基于内部状态及视觉观测的模仿学习算法，实验结果表明其在多个 MuJoCo 领域的表现优于其他观测模仿学习算法。

    May, 2019

  • 从观测中学习模仿最新进展

    本文为观察式模仿学习提供了文献综述，并指出了一些开放性研究问题和未来可行性工作。

    May, 2019

  • 注射式状态 - 图像映射用于视觉对抗性模仿学习

    为了更好地控制自然动作，本文提出了一种深度学习方法，通过直接模仿原始视频演示来获得控制策略，并且使用生成对抗网络依据低维度特征代替手工奖励估计步骤，同时展示了该方法可以产生类似于专家演示视频的学习性能。

    Oct, 2018

  • 利用离线预训练状态转向转换器从视觉观察中学习

    本文提出了一种基于视觉观测的学习方法，使用两阶段的 State-to-Go (STG) Transformer 训练出内在奖励进行强化学习，实现了利用仅有视频数据解决视觉强化学习任务的潜力，并在 Atari 和 Minecraft 等数据集上表现出了比基线更好的性能。

    Jun, 2023

  • 高效对抗模仿学习

    本研究提出了一种基于自监督表示学习的对抗性模仿学习方法，用于学习具有抗扭曲性和时间预测性的状态和动作表示，以提高样本效率，并在 MuJoCo 的 100 个专家状态 - 动作对设置中相对于现有方法表现出 39％的改进。

    Mar, 2023

  • 领域自适应视觉观察的模仿学习

    在这篇论文中，我们考虑了具有视觉观测的领域自适应模仿学习，其中目标领域中的一个代理通过观察源领域中的专家示范来学习执行任务。我们提出了一种新的框架，通过双重特征提取和图像重构从输入观测中提取领域无关的行为特征，以克服视觉观察中跨领域模仿学习中的领域转移问题。实证结果表明，我们的方法优于先前的具有领域转移的视觉观察模仿学习算法。

    Dec, 2023

  • 领域鲁棒性视觉仿真学习与互信息约束

    介绍了一种名为 Disentangling Generative Adversarial Imitation Learning（DisentanGAIL）的新算法，可通过对抗学习来自动学习高维度任务表现观察的特征，从而成功进行模仿，同时忽略专家和代理之间的差异，此算法在包括平衡、操纵和运动任务在内的各种控制问题中都具有高效性和稳健性。

    Mar, 2021

  • 基于引导对比学习的观察模仿

    本文提出了基于视觉演示的学习控制策略的一种 IfO 算法，名为 BootIfOL，该算法旨在学习一种从智能体轨迹到目标轨迹的距离度量方式，通过对比学习训练出智能体控制策略，实验结果表明该算法可以在有限的演示轨迹上训练出有效的策略。

    Feb, 2023