Jun, 2019

Wasserstein 对抗性模仿学习

PDF
TL;DR本文研究 Imitation Learning，结合 Optimal Transport 提出 Wasserstein Adversarial Imitation Learning 来更高效地解决 inverse reinforcement learning 中 reward function 问题。在机器人实验中，该方法只需一个 expert demonstration 即可实现显著提升。
imitation learninginverse reinforcement learningoptimal transportreward functionwasserstein adversarial imitation learning
发现论文，激发创造
  • Wasserstein 逆强化学习在多目标优化中的仿真证明

    本文证明了 Wasserstein 反向强化学习可以在有限次迭代中实现学习者的奖励值模仿专家的奖励值，同时可在多目标优化中，实现学习者的最优解的字典序问题模仿专家的最优解。

    May, 2023

  • 以 Wasserstein 距离为导向的对抗模仿学习，结合奖励形状探索

    本文提出的名为 WDAIL 的新算法，在 采用 Wasserstein 距离、Proximal Policy Optimization 技术和不同的 奖励函数形状等三个方面做了改进，提高了模拟学习的性能，并在 MuJoCo 的复杂连续控制任务中取得了显著性能。

    Jun, 2020

  • 原始 Wasserstein 模仿学习

    本文提出了一种新的基于 Primal Wasserstein Imitation Learning（PWIL）算法的 Imitation Learning method，通过离线推导奖励函数，在 MuJoCo 领域的多个连续控制任务中实现了高效的样本复原，并且匹配的是 Wasserstein 距离，而非常用的性能代理。

    Jun, 2020

  • 强化学习中的对抗内在动机

    论文研究了使用 Wasserstein-1 距离优化策略在强化学习特别是目标导向学习中的应用，提出了一种基于 Adversarial Intrinsic Motivation 的算法并应用于 Hindsight Experience Replay 以加速学习。

    May, 2021

  • 意图对齐：离线优化传输的模仿学习

    通过从环境中观察专家，尽管没有明确的奖励或动作标签，但模仿智能体仍然可以学习所需行为。借助于最优传输距离的 AILOT 方法，在与数据中蕴含成对的空间距离的意图形式中对状态进行特殊表示，定义了内在奖励函数，改善了其他线下强化学习算法在稀疏奖励任务中的性能，并超过了 D4RL 基准的最新线下模仿学习算法。

    Feb, 2024

  • 通过对抗性对比最优输运进行表示学习

    本文提出了一种通过优化转移距离来学习捕捉数据时间空间关系的紧凑（低维）表示，与此同时通过 Wasserstein GANs 和分类器连接的新框架产生对比学习的负分布，结果在人类动作识别任务中表现良好。

    Jul, 2020

  • 通过最优传输从观察中进行模仿学习

    实时观察下的模仿学习 (ILfO) 中，利用最优传输来生成奖励函数，通过状态轨迹的 Wasserstein 距离衡量学习者和专家之间的差异，无需学习模型或对抗学习，可以与任何强化学习算法集成，并适用于 ILfO，能在多个连续控制任务中超越现有方法，在单个专家轨迹无动作观测的情况下实现专家级性能。

    Oct, 2023

  • 观察与匹配：用规则化的最优输运算法增强模仿

    本文提出了一种基于正则化最优传输的模仿学习算法，结合了轨迹匹配奖励和行为克隆，大大提高了模仿学习的速度和效率，在 20 个视觉控制任务中的实验表明，比起之前的最先进方法，该算法可以平均快七倍，并且在真实世界的机器人操作中展现了高达 90% 的平均成功率。

    Jun, 2022

  • 逆强化学习中通过最优传输理论理解奖励模糊性

    该论文利用最优传输理论（OT）提供了一个新的视角，通过利用最优传输中的 Wasserstein 距离，建立了一个几何框架，可以量化奖励的模糊性，并确定奖励函数的中心表示或重心，为几何解释锚定的稳健逆 RL 方法提供了结构化的方法来解决高维奖励模糊问题。

    Oct, 2023

  • 随机专家蒸馏：通过专家策略支持来进行模仿学习估计

    本文提出一种新的模仿学习框架，通过估计专家策略的支持来计算固定的奖励函数，将模仿学习重新定位到标准的强化学习设置中，证明了该奖励函数在离散和连续域上的有效性，并在不同的强化学习算法下实现了与现有技术相当或更好的表现。

    May, 2019