灵活推理、规划和控制的深度仿真模型

Oct, 2018

灵活推理、规划和控制的深度仿真模型

Deep Imitative Models for Flexible Inference, Planning, and Control

Nicholas Rhinehart, Rowan McAllister, Sergey Levine

TL;DR本文提出了模仿模型方法，将模仿学习和目标导向规划相结合，使用概率预测模型生成解释性的专家级轨迹，以实现特定目标。在动态模拟自主驾驶任务中，我们的方法显著优于六种模仿学习方法和一种基于规划的方法，并可以从专家演示中高效地学习。此外，我们的方法对于目标规范不良的情况具有鲁棒性。

Abstract

imitation learning (IL) is an appealing approach to learn desirable autonomous behavior. However, directing IL to achieve arbitrary goals is difficult. In contrast, planning-based algorithms use dynamics models and reward functions to achieve goals. Yet, reward functions that evoke des

imitation learning goal-directed planning probabilistic predictive models expert-like trajectories autonomous driving

发现论文，激发创造

分治学习模仿

本文介绍了一种基于序列归纳偏置的，从专家轨迹的状态中模仿复杂机器人任务并实现优化的新算法，将复杂任务拆分成较小的技能，将技能训练为 (goal-conditioned policy)，以便能够逐个解决每个技能并连接技能以完成整个任务，同时证明了该方法经过了无须几个未经过训练的样例即可实现了非完整导航任务和复杂的仿真机器人操作任务。

Apr, 2022

模仿，快与慢：通过决策时规划的演示鲁棒学习

提出了一种新的模拟学习元算法 IMPLANT，利用决策时间规划来纠正模仿策略的复合误差，从而实现比基准模仿学习方法更好的实验效果，在挑战性测试时动态运行。

Apr, 2022

模仿学习综述：算法、最新进展和挑战

这篇论文旨在介绍模仿学习（IL）及其基本假设和方法，提供领域内最新进展和新兴研究的详细描述，讨论了解决模仿学习相关挑战的常见方法，并提出未来研究的潜在方向，全面指导机器人和人工智能领域中日益增长的模仿学习研究。

Sep, 2023

IQ-Learn: 逆软 Q 学习用于模仿

介绍了一种动态感知的逆强化学习方法 ——IQ-Learn，它通过学习单个 Q 函数来避免对抗性训练，并可在标准测试中取得最好的结果，比现有方法在所需的环境交互数量和高维空间可扩展性方面表现优异。

Jun, 2021

基于模拟的强化学习在基于视觉的敏捷飞行中的引导

将强化学习和模仿学习有效性应用于基于视觉的自主无人机竞赛，通过直接处理视觉输入无需明确状态估计，我们提出了一种结合强化学习和模仿学习优势的新型训练框架，通过三个阶段的训练实现超越单独强化学习或模仿学习在仅使用视觉信息且无需明确状态估计的情况下驾驶四轴飞行器穿过赛道的优秀性能和鲁棒性。

Mar, 2024

在强化学习中模仿受成本约束的行为

通过拉格朗日方法、元梯度以及基于成本违规的交替梯度等多种方法，我们在考虑轨迹成本约束的情况下成功匹配了专家分布，并且在实证研究中证明了我们的元梯度方法具有最佳性能。

Mar, 2024

基于数据驱动的模仿学习规划

利用数据驱动的模仿学习框架，通过模仿一个清晰的预测者，解决了机器人规划中的优化问题，从而为序列决策制定了更好的战略。在信息不完整的计划问题上进行了验证，包括真实的无人机实验，并且表现优于现有的算法。

Nov, 2017

IDIL: 意图驱动专家行为的模仿学习

IDIL 是一种新颖的模仿学习算法，旨在模拟专家的多样化意图驱动行为。其通过从不同示范中估计专家意图并将其用于学习意图感知模型，能够胜任高维状态表示下的顺序任务，而不涉及相关技术的复杂性和缺点。创造性地生成模型的实证结果表明，IDIL 所生成的模型在任务性能指标上要么与最新的模仿学习基准相匹敌，要么超越其表现。此外，作为一种生成模型，IDIL 在人机交互关键的意图推断指标上表现出卓越的性能，并恰如其分地捕捉了广泛的专家行为。

Apr, 2024

具有逆动力学表示的稳健视觉模仿学习

我们提出了一种新颖的鲁棒模仿学习方法，通过发展逆动力学状态表示学习目标来对齐专家环境和学习环境，通过设计有效的奖励函数来度量行为数据和专家数据之间的相似性，从而在各种视觉扰动和视觉控制任务中实现近乎专家的性能，并显著优于当前最先进的视觉模仿学习方法和鲁棒模仿学习方法。

Oct, 2023

自主驾驶规划中基于层次模型的模仿学习

使用 MGAIL 在密集城市自动驾驶方面进行了第一次大规模应用，通过使用分层模型和经过现实汽车采集的经验轨迹进行性能度量，并结合闭环 MGAIL 损失和开环行为克隆损失实现了稳健的导航策略。

Oct, 2022