Apr, 2024

IDIL: 意图驱动专家行为的模仿学习

PDF
TL;DRIDIL 是一种新颖的模仿学习算法，旨在模拟专家的多样化意图驱动行为。其通过从不同示范中估计专家意图并将其用于学习意图感知模型，能够胜任高维状态表示下的顺序任务，而不涉及相关技术的复杂性和缺点。创造性地生成模型的实证结果表明，IDIL 所生成的模型在任务性能指标上要么与最新的模仿学习基准相匹敌，要么超越其表现。此外，作为一种生成模型，IDIL 在人机交互关键的意图推断指标上表现出卓越的性能，并恰如其分地捕捉了广泛的专家行为。
intent-driven behaviorsimitation learningidilintent inference metricsexpert behaviors
发现论文，激发创造
  • 灵活推理、规划和控制的深度仿真模型

    本文提出了模仿模型方法，将模仿学习和目标导向规划相结合，使用概率预测模型生成解释性的专家级轨迹，以实现特定目标。在动态模拟自主驾驶任务中，我们的方法显著优于六种模仿学习方法和一种基于规划的方法，并可以从专家演示中高效地学习。此外，我们的方法对于目标规范不良的情况具有鲁棒性。

    Oct, 2018

  • 分治学习模仿

    本文介绍了一种基于序列归纳偏置的，从专家轨迹的状态中模仿复杂机器人任务并实现优化的新算法，将复杂任务拆分成较小的技能，将技能训练为 (goal-conditioned policy)，以便能够逐个解决每个技能并连接技能以完成整个任务，同时证明了该方法经过了无须几个未经过训练的样例即可实现了非完整导航任务和复杂的仿真机器人操作任务。

    Apr, 2022

  • 基于策略的样本高效观测模仿学习

    本文提出了 SEILO，这是一种新颖的 ILO 的样本有效的 on-policy 算法，结合了标准的对抗性模仿学习和逆动力学建模，通过此方法能够使智能体从对手过程和行为克隆损失中接收反馈，我们实证表明，相比于其他现有的 on-policy ILO 和 ILD 方法，我们所提出的算法需要更少的与环境的交互才能实现专家绩效。

    Jun, 2023

  • 模仿学习综述：算法、最新进展和挑战

    这篇论文旨在介绍模仿学习（IL）及其基本假设和方法，提供领域内最新进展和新兴研究的详细描述，讨论了解决模仿学习相关挑战的常见方法，并提出未来研究的潜在方向，全面指导机器人和人工智能领域中日益增长的模仿学习研究。

    Sep, 2023

  • 模仿学习：在可变环境中实现即插即用的模仿能力

    提出了一种名为模仿学习（ItorL）的新主题，旨在基于非常有限的专家示范实现即时重构模仿策略，用于不同的未知任务，无需任何额外的调整。通过将模仿学习集成到强化学习范式中，设计了 Demo-Attention Actor-Critic（DAAC）来解决 ItorL 问题，并为模仿者策略设计了一种基于示范的注意力架构，可以通过自适应追踪示范中的适当状态有效地输出模仿动作。在新的导航基准和机器人环境中，展示出 DAAC 在已知和未知任务上均比之前的模仿方法有着显著的优势。

    Oct, 2023

  • 鉴别器指导的基于模型的离线模仿学习

    该论文提出了一种基于鉴别器指导的模型辅助离线仿真学习框架，该框架采用协作对抗学习策略，能够显著提高在小数据集下的性能和鲁棒性。

    Jul, 2022

  • 基于集成的交互式模仿学习

    我们研究了交互式模仿学习，其中学习者通过与演示专家的互动查询动作注释，旨在学习一种能够与专家表现竞争性能且使用尽可能少的注释的策略。我们提出了一种名为集成交互式模仿学习（EIIL）的算法框架，可实现此目标。从理论上讲，我们证明了 EIIL 的一个效率优于 oracle 版本能够保证尖锐的后悔，前提是可以访问某个对状态具有 “探索性” 分布的样本。经验上，EIIL 在连续控制任务中明显超过在线和离线模仿学习基准。我们的工作为使用模型集合进行交互式模仿学习的收益开辟了系统研究。

    Dec, 2023

  • InfoGAIL：来自视觉示范的可解释性模仿学习

    本文提出了一种基于对抗生成模型的模仿学习算法，能够通过无监督学习方法推断出专家示范中隐藏的潜在结构，并可以学习到复杂行为数据可解释且有意义的表示方式，包括图像示范。在驾驶领域中，我们展示了通过人类示范学习的模型能够准确地复现多种行为并能使用原始视觉输入准确地预测人类的行为。相比于其他基线算法，我们的方法能更好地捕捉隐藏在专家示范中的潜在结构，并经常回收到语义上有意义的数据变量。

    Mar, 2017

  • 用于单示范模仿学习的专家接近度作为替代奖励

    单个示范模仿学习浅层奖励问题通过过渡判别基于 IL 方法得到缓解，在五个广泛采用的 MuJoCo 基准测试以及 “灵巧门” 环境中，该方法胜过现有的 IL 方法且达到专家级性能。

    Feb, 2024

  • 如何在离线模仿学习中利用多样化的示范

    离线仿真学习（IL）在实际领域中由于专家数据的稀缺性而受到越来越多的关注。本文介绍了一种简单而有效的数据选择方法，基于其结果状态识别积极行为，从而更好地利用动态信息并有效地提取专家行为和有益的多样行为。通过在复杂和高维离线 IL 基准测试中的实验评估，结果表明我们的方法达到了最先进的性能，在 20/21 个基准测试中超越了现有方法，通常是 2-5 倍，并且与行为克隆（BC）保持可比的运行时间。

    May, 2024