AAAIMar, 2023

通过松弛分布匹配实现离线次优演示的模仿学习

PDF
TL;DR本文提出了一种针对少量优秀数据和大量劣质数据的离线模仿学习问题的解决方案，并且采用了一种松弛的 f - 分布来对策略的支持进行规范化，结果表明在六个标准连续控制环境中，相较于最优先的离线模仿学习方法，本文提出的 RelaxDICE 平均性能提升了 30％以上。
imitation learningoffline learningpolicy learningsuboptimal datadistribution shift
发现论文，激发创造
  • GO-DICE：目标导向的基于选项感知的离线模仿学习通过稳态分布修正估计

    GO-DICE 是一种离线模仿学习技术，用于处理长期目标驱动的顺序任务，通过从示例中分辨子任务的层次结构并分别学习子任务转换和动作执行策略，以实现长期推理。实验结果表明 GO-DICE 优于最近的对照方法，在越来越具有挑战性的 Mujoco 机器人任务的完成率方面有明显改善。此外，GO-DICE 还能够利用不完美的示例和部分任务分割来提高任务的性能。

    Dec, 2023

  • 反向软 Q 学习用于离线模仿与次优示范

    离线模仿学习主要通过有限的专家演示和较大的次优演示来提出一种基于反向软 Q 学习的新方法，通过添加正则化项来对齐学习得到的回报函数，从而有效解决离线模仿学习中的过拟合问题和训练向次优策略靠拢的问题。该方法在标准基准测试中明显优于其他离线模仿学习方法。

    Feb, 2024

  • 从亚优示例中进行判别器加权的离线模仿学习

    本文介绍了一种利用 offline dataset 和 behavioral cloning 来解决 offline imitation learning 问题的算法，该算法额外引入了一个鉴别器来区分专家和非专家数据，并将其输出作为 behavioural cloning 的损失权重，实验结果表明该算法可以提高回报率和训练速度。

    Jul, 2022

  • OptiDICE: 通过稳态分布校正估计进行离线策略优化

    本文提出了一种离线强化学习算法 OptiDICE，通过直接估计最优策略的稳态分布校正来避免过高估计动作值的问题，并使用一系列基准数据集证明了 OptiDICE 与现有最先进方法相比性能具有竞争力。

    Jun, 2021

  • 软 DICE 用于模仿学习：重思离线策略分布匹配

    SoftDICE 是一种采用熵正则化的离线算法，用于解决样本有效的模仿学习中的分布匹配问题，其表现取得了 Mujoco 基准任务上的最佳结果。

    Jun, 2021

  • 基于稳态分布校正估计的离线观测学习 - LobsDICE

    该论文探究了在缺乏专家行为数据的情况下，通过学习观察结果来模拟专家行为的问题，并提出了一种基于离线学习的算法 LobsDICE，该算法通过优化稳定分布来实现模仿专家策略，并在一系列在线学习任务中表现出色。

    Feb, 2022

  • 通过离策略分布匹配实现的模仿学习

    本研究提出一种名为 ValueDICE 的基于离线数据的策略优化算法，它使用分布匹配方法来提高数据利用效率并优化如何评估专家演示数据的不同媒介投放，实现了在模拟学习测试上的最佳性能。

    Dec, 2019

  • 如何在离线模仿学习中利用多样化的示范

    离线仿真学习（IL）在实际领域中由于专家数据的稀缺性而受到越来越多的关注。本文介绍了一种简单而有效的数据选择方法，基于其结果状态识别积极行为，从而更好地利用动态信息并有效地提取专家行为和有益的多样行为。通过在复杂和高维离线 IL 基准测试中的实验评估，结果表明我们的方法达到了最先进的性能，在 20/21 个基准测试中超越了现有方法，通常是 2-5 倍，并且与行为克隆（BC）保持可比的运行时间。

    May, 2024

  • 鉴别器指导的基于模型的离线模仿学习

    该论文提出了一种基于鉴别器指导的模型辅助离线仿真学习框架，该框架采用协作对抗学习策略，能够显著提高在小数据集下的性能和鲁棒性。

    Jul, 2022

  • 基于原始 Wasserstein 状态占有匹配的离线观察仿真

    通过使用观察结果进行离线学习，我们提出一种新的方法称为 Primal Wasserstein DICE，通过最小化原始 Wasserstein 距离来改进分布校正估计，并在多个测试平台上进行实证评估。

    Nov, 2023