Feb, 2023

基于引导对比学习的观察模仿

PDF
TL;DR本文提出了基于视觉演示的学习控制策略的一种 IfO 算法，名为 BootIfOL，该算法旨在学习一种从智能体轨迹到目标轨迹的距离度量方式，通过对比学习训练出智能体控制策略，实验结果表明该算法可以在有限的演示轨迹上训练出有效的策略。
imitation from observationmarkov decision processvisual demonstrationsreward functioncontrastive learning
发现论文，激发创造
  • 基于观察数据的生成对抗模仿

    本文提出了一种基于生成对抗网络的从观察中模仿学习方法（GAIfO），它可以在没有行动信息的情况下直接从状态演示中学习，进行了两种不同设置的实验证明它在高维模拟环境中优于现有的直接从状态演示方法。

    Jul, 2018

  • 通过最优传输从观察中进行模仿学习

    实时观察下的模仿学习 (ILfO) 中，利用最优传输来生成奖励函数，通过状态轨迹的 Wasserstein 距离衡量学习者和专家之间的差异，无需学习模型或对抗学习，可以与任何强化学习算法集成，并适用于 ILfO，能在多个连续控制任务中超越现有方法，在单个专家轨迹无动作观测的情况下实现专家级性能。

    Oct, 2023

  • 从观测中学习模仿最新进展

    本文为观察式模仿学习提供了文献综述，并指出了一些开放性研究问题和未来可行性工作。

    May, 2019

  • 借助自我感知从视频中进行模仿学习

    该研究提出了一种基于内部状态及视觉观测的模仿学习算法，实验结果表明其在多个 MuJoCo 领域的表现优于其他观测模仿学习算法。

    May, 2019

  • 基于观测的离策略模仿学习

    本文提出了一个基于观察学习的学习方法，包括分布匹配、离线策略学习和倒置动作模型，能够在性能和样本效率上与最先进的方法相媲美。

    Feb, 2021

  • 基于观察的模仿学习与自动折扣调度

    通过自动折扣调度的机制适应性地改变强化学习的折扣系数，我们提出了一种新颖的观察学习框架，使得代理能够在掌握较早行为之后再逐步转向后续行为，并通过在九个 Meta-World 任务上的实验证明该方法在所有任务中明显优于现有方法。

    Oct, 2023

  • 基于观测的可证明高效仿真学习

    设计了一种新的模型无关算法用于能够从观察中学习的模仿学习，可以在大规模的马尔可夫决策过程中学习得到一种近似最优的策略，具有多项式样的效率。

    May, 2019

  • 通过转换模型不一致性学习观测到的模仿

    本文提出了一种利用中间策略来训练学习者的一种方法，该中间策略可以近似地执行专家的策略，以便用于不同环境下的模仿学习，并在 MuJoCo 运动任务中取得了良好的结果。

    Apr, 2022

  • 通过预测观察来模仿

    本文基于未来观察奖励模型，提出了一种新的依靠观察数据进行模仿学习的方法，可以在连续控制任务中表现出与人类专家相当的性能，同时在存在与任务无关的观察数据时表现出鲁棒性。

    Jul, 2021

  • 基于策略的样本高效观测模仿学习

    本文提出了 SEILO，这是一种新颖的 ILO 的样本有效的 on-policy 算法，结合了标准的对抗性模仿学习和逆动力学建模，通过此方法能够使智能体从对手过程和行为克隆损失中接收反馈，我们实证表明，相比于其他现有的 on-policy ILO 和 ILD 方法，我们所提出的算法需要更少的与环境的交互才能实现专家绩效。

    Jun, 2023