May, 2023

Robust Imitation by Return-to-Distribution Planning

PDF
TL;DR本文介绍一种与专家数据收集环境不同的 Imitation Learning（模仿学习）方法，该方法结合行为克隆和计划策略，通过将代理人带回专家访问的状态解决数据分布漂移问题，以提高性能。作者将这一算法命名为 POIR，并在实际的机器人操作模拟器中进行了多种实验测试，并表明该学习策略对于不同的初始状态分布和嘈杂的动态具有很好的鲁棒性。
imitation learningbehavior cloningpoirplannerrobotic manipulation
发现论文，激发创造
  • 基于反向模型的少量演示稳健仿真

    本文提出了一种基于生成式反向动力学模型的行为克隆方法以解决自我学习表现不佳的问题，利用模型产生短期想象轨迹进行训练，提高了模型的健壮性和适应性。

    Oct, 2022

  • 连贯的软件仿真学习

    本文提出了一种混合的模仿学习方法，将行为克隆和逆向加权分别作为策略和奖励模型，结合软强化学习框架下的无限制行为克隆技术和正则化方法，以克服使用诱导式奖励和通过对策略进行学习的方法时的一些困难。该方法简单灵活，具有稳定的学习和最小化的超参数调整。

    May, 2023

  • 基于数据驱动的模仿学习规划

    利用数据驱动的模仿学习框架，通过模仿一个清晰的预测者，解决了机器人规划中的优化问题，从而为序列决策制定了更好的战略。在信息不完整的计划问题上进行了验证，包括真实的无人机实验，并且表现优于现有的算法。

    Nov, 2017

  • 模仿，快与慢：通过决策时规划的演示鲁棒学习

    提出了一种新的模拟学习元算法 IMPLANT，利用决策时间规划来纠正模仿策略的复合误差，从而实现比基准模仿学习方法更好的实验效果，在挑战性测试时动态运行。

    Apr, 2022

  • 如何在离线模仿学习中利用多样化的示范

    离线仿真学习（IL）在实际领域中由于专家数据的稀缺性而受到越来越多的关注。本文介绍了一种简单而有效的数据选择方法，基于其结果状态识别积极行为，从而更好地利用动态信息并有效地提取专家行为和有益的多样行为。通过在复杂和高维离线 IL 基准测试中的实验评估，结果表明我们的方法达到了最先进的性能，在 20/21 个基准测试中超越了现有方法，通常是 2-5 倍，并且与行为克隆（BC）保持可比的运行时间。

    May, 2024

  • 将模仿学习和在线强化学习桥接：一篇乐观的故事

    本研究提出了一种基于离线数据集的 RL 算法，结合了 RL 和模仿学习的 iRLSVI 算法，可显著减少后悔度。

    Mar, 2023

  • 高效示教学习的规划

    提出了 EfficientImitate 这一基于规划的模仿学习方法，成功地将两类看似不兼容的模仿算法：行为克隆和对抗模仿学习，自然地统一到了一个框架中，实现了在性能和样本效率方面的高水平。

    Oct, 2022

  • IQ-Learn: 逆软 Q 学习用于模仿

    介绍了一种动态感知的逆强化学习方法 ——IQ-Learn，它通过学习单个 Q 函数来避免对抗性训练，并可在标准测试中取得最好的结果，比现有方法在所需的环境交互数量和高维空间可扩展性方面表现优异。

    Jun, 2021

  • 分治学习模仿

    本文介绍了一种基于序列归纳偏置的，从专家轨迹的状态中模仿复杂机器人任务并实现优化的新算法，将复杂任务拆分成较小的技能，将技能训练为 (goal-conditioned policy)，以便能够逐个解决每个技能并连接技能以完成整个任务，同时证明了该方法经过了无须几个未经过训练的样例即可实现了非完整导航任务和复杂的仿真机器人操作任务。

    Apr, 2022

  • 意图对齐：离线优化传输的模仿学习

    通过从环境中观察专家，尽管没有明确的奖励或动作标签，但模仿智能体仍然可以学习所需行为。借助于最优传输距离的 AILOT 方法，在与数据中蕴含成对的空间距离的意图形式中对状态进行特殊表示，定义了内在奖励函数，改善了其他线下强化学习算法在稀疏奖励任务中的性能，并超过了 D4RL 基准的最新线下模仿学习算法。

    Feb, 2024