Oct, 2021

TRAIL: 近乎最优的次优数据模仿学习

PDF
TL;DR本研究提出了一种利用离线数据集学习隐含动作空间和转换模型的训练目标，通过此目标实现提高下游模仿学习的样本效率，该目标可用于廉价的次优或非任务特异性轨迹数据集。TRAIL 算法是一种能够增加样本效率的模型，其能通过学习基于能量的转换模型，对动作空间进行重新参数化，同时结合离线数据集和得到的隐含动作空间，优化模仿学习。实验结果表明，TRAIL 能够使得基线模仿学习的性能提高 4 倍。
imitation learningoffline datasetssample-efficiencylatent action spacetransition model
发现论文，激发创造
  • 反向软 Q 学习用于离线模仿与次优示范

    离线模仿学习主要通过有限的专家演示和较大的次优演示来提出一种基于反向软 Q 学习的新方法，通过添加正则化项来对齐学习得到的回报函数，从而有效解决离线模仿学习中的过拟合问题和训练向次优策略靠拢的问题。该方法在标准基准测试中明显优于其他离线模仿学习方法。

    Feb, 2024

  • 从次优演示中进行模仿学习的技能解耦

    本文提出了一种可以从小的干净数据集和大的嘈杂数据集中学习到子最优示范的深度递归网络，通过技能探索和调整，以及相互信息正则化促进技能空间中的解缠缩。

    Jun, 2023

  • 基于观测和示例的离线模仿的简明解决方案：可能包含不完整轨迹

    提出了一种从观测中进行离线模仿的方法，并使用轨迹感知的加权行为克隆策略，提高了鲁棒性和效果。

    Nov, 2023

  • 增强模仿学习策略的在线适应性

    我们提出通过在线调整来弥补模仿学习中的失败，我们的方法将预训练策略的动作建议与专家记录的相关经验相结合，通过适应的行为更好地模仿专家策略，实验表明适应的智能体表现比纯模仿学习的对应体更好，特别是在基础策略灾难性失败时，适应的智能体仍然能够实现合理的性能。

    Jun, 2024

  • 任务相关的对抗性模仿学习

    本文探讨对抗模仿领域中鉴别器网络学习视觉特征与专家标签之间的虚假关联所造成的关键漏洞，并提出了一种新的解决方案 (TRAIL)，该方法通过优化受限的鉴别器来获得 informative rewards。在实验中，我们展示了 TRAIL 能够在没有访问任何任务奖励的情况下，通过模仿人类的操作来解决具有挑战性的机器人操纵任务，并明显优于其他基于行为克隆和传统 GAIL 的对抗模仿代理模型。

    Oct, 2019

  • 半监督离线强化学习与无动作轨迹

    通过开发新的算法流程，利用多种数据来源进行线下强化学习，仅使用 10％的数据可以达到与完全有标签的数据集相似的性能，同时进行大规模控制实验，以确定半监督学习应用于 RL 的最佳实践。

    Oct, 2022

  • 基于模型的离线模仿学习与非专家数据

    通过利用最优和次优策略收集的数据集，我们提出了一种可扩展的基于模型的离线模仿学习算法框架，其最坏子优性与专家样本相关的时间视野呈线性，实验证明在模拟连续控制领域中，该算法始终表现优于行为克隆。

    Jun, 2022

  • 使用离线数据进行高效在线强化学习

    本研究提出了一种简单的方法，利用离线数据来解决在线强化学习中的效率和探索性问题，通过对现有离线策略学习算法进行改进，得出了可以在各种竞争对手的基准测试中比现有方法提高 2.5 倍的建议。

    Feb, 2023

  • 意图对齐：离线优化传输的模仿学习

    通过从环境中观察专家，尽管没有明确的奖励或动作标签，但模仿智能体仍然可以学习所需行为。借助于最优传输距离的 AILOT 方法，在与数据中蕴含成对的空间距离的意图形式中对状态进行特殊表示，定义了内在奖励函数，改善了其他线下强化学习算法在稀疏奖励任务中的性能，并超过了 D4RL 基准的最新线下模仿学习算法。

    Feb, 2024

  • 具有未知转换的可证明高效的对抗性模仿学习

    本文旨在探究在不确定转移条件下对对手模仿学习策略的理论基础。我们提出一种算法 MB-TAIL，它可以达到最小最大优化专家样本复杂度并改善了当前已知最佳算法 OAL 的交互复杂度。此外，我们通过将其扩展到函数逼近设置来展示 MB-TAIL 的泛化能力，并证明它可以实现独立于状态空间大小的专家样本和交互复杂度。

    Jun, 2023