Mar, 2020

传感器漂移下的模仿学习与决策的因果转移

HTML
PDF
TL;DR该研究提出了一种基于因果模型的框架，解决了学习者、演示者和训练代理不同的传感器输入（sensor-shifts）导致的问题，在两个常见的LfD任务中进行转移学习：（1）推断演示者的行为效应和（2）模仿学习。
发现论文，激发创造
  • 通过上下文翻译从原始视频中学习模仿行为

    本研究提出了一种基于视频预测、上下文转换和深度强化学习的“观察型模仿学习”方法，该方法消除了标准模仿学习对于完全相同环境的假设，并能够从一个演示者的视频中学习各种现实世界中的机器人技能，涵盖扫地、铲杏仁、推物品等家庭琐事任务以及模拟中的许多其他任务。

    Jul, 2017

  • 模仿学习的算法视角

    本论文介绍了仿真学习的基本概念、假设、方法及其算法，探究其与机器学习、控制论等领域的关系，为机器学习专家与机器人及应用人工智能专家提供知识储备与工具。

    Nov, 2018

  • 模仿学习中的因果混淆

    利用行为克隆将策略学习简化为监督学习，但忽略因果关系可能导致因果误识问题，可通过相应的干预（环境交互或专家查询）确定正确的因果模型来解决。研究表明，该问题在多个领域中都存在，例如控制问题和驾驶问题，并经过了与DAgger等基线和消融进行验证。

    May, 2019

  • 仿真学习中的反馈：协变量转移的三种模式

    通过利用模拟器而无需进一步访问专家演示，我们证明了一类广泛存在的问题，这些问题可以在理论和实践上缓解移量漂移的影响，并详细说明了需要新的标准化基准来捕捉机器人问题中的现象。

    Feb, 2021

  • 跨域观测下的模仿学习

    本篇研究针对专家行为与训练代理之间的差异，提出了一种基于无配对无对齐的轨迹，以及循环一致性限制的框架，来学习对应关系以解决领域差异的问题，并通过实验证明了该方法的有效性。

    May, 2021

  • 未观测到混杂因素的因果模仿学习

    研究表明在模仿学习中，学者提出了一个非参数图形标准来确定模仿的可行性，并建立了一个有效的程序来从专家轨迹中学习模仿策略。

    Aug, 2022

  • 带未观测到混杂变量的序列因果模仿学习

    本文探究了在序贯设置下的因果模仿学习问题，提出了一种图形标准来确定因果模仿的可行性，并提供了一种有效的算法来确定可模仿性，并通过模拟实验验证了这种理论。

    Aug, 2022

  • 去交织模仿学习的初始状态干预

    模仿学习中的因果混淆问题及其遮蔽算法的应用。

    Jul, 2023

  • 通用策略的不变因果模仿学习

    基于多个环境中的行为演示来学习模仿策略，通过学习跨域不变的特征表示，构建与专家行为匹配的模仿策略，以实现在未见环境中的泛化能力。

    Nov, 2023

  • 基于离线数据的观测模仿学习的双重方法

    通过学习一个多步效用函数来量化每个行动对智能体与专家的访问分布之间的差异，我们提出了DILO(从观测中进行双重模仿学习)算法，它可以利用任意次优数据学习模仿策略而不需要专家行动，从而有效地解决了高维观测问题，表现得更好。

    Jun, 2024