Mar, 2022

推理反事实以改善人类逆强化学习

PDF
TL;DR为了让人类能够很好地与机器人协作，提出了一种包含逆强化学习和演示方法，在选择展示时考虑了人类对机器人决策的预期，使用了一种新的测试难度测量方法，并发现这种方法在易于测试的情况下降低了人类的性能，但在难于测试的情况下增加了性能。
发现论文，激发创造
  • 使机器人能够交流它们的目标

    通过机器模拟对人类推导目标功能的学习过程，选择对人最具信息量的行为，以准确预测机器人在新情境下的行为，为此我们提出了两种候选的近似推断模型，并在自动驾驶领域中进行用户研究，结果表明，某些近似推断模型可以使机器人生成更好的行为示例，从而更好地使用户预测其行为，但我们还需要进一步研究人类从机器人行为示例中的推导过程。

    Feb, 2017

  • 学习人类偏好以便推理奖励的可行性探讨

    我们提出一种基于不可微分计划器的逆强化学习，用于推断从专家提供的演示中学习奖励函数，并与采用特定假设的数学模型相比，我们的方法可以得到更好的奖励推断，同时保持在数据驱动方法和已知人类偏差之间的平衡。

    Jun, 2019

  • 强化学习的反事实解释

    通过重新定义反事实解释方法，结合强化学习的特点，探索在强化学习领域实现反事实解释的方法和研究方向。

    Oct, 2022

  • 逆强化学习建模和解释现实世界中的人类风险决策

    使用反强化学习 (IRL) 模型人类决策行为，以理解人类在面临风险时的决策，提出历史状态对人类奖励函数具有影响力的假设，并设计反映这些因素的特征。结果表明，IRL 是一种有效的刻画人类决策行为的工具，并帮助解释人类在面临风险决策中的心理过程。

    Jun, 2019

  • 反事实推理与学习系统

    本文介绍如何利用因果推断来理解与环境交互并预测系统变更的后果，从而使人类和算法能够选择改变，以改善系统的短期和长期性能。作者还通过对 Bing 搜索引擎广告放置系统的实验来说明他们的方法。

    Sep, 2012

  • 序贯决策的假设解释学习

    通过对专家行为的建模和学习，该论文提出了一种可解释的决策制定方法，使用 “假设” 结果的偏好来模拟专家的奖励函数，该方法将反事实推理集成到批量反向强化学习中，能够自然地适应历史记录依赖的环境，同时也满足现实世界决策制定的约束条件。

    Jul, 2020

  • 通过反事实轨迹解释强化学习策略

    通过展示强化学习代理在更广泛的轨迹分布中的行为，我们的方法可以传达代理在分布转移下的表现，从而有助于代理的有效验证。在用户研究中，我们展示了我们的方法可以使用户在代理验证任务中的得分比基准方法高。

    Jan, 2022

  • 通过元反强化学习学习意图的先验知识

    本文通过学习先验 (prior) 函数从其他任务的演示中推断奖励函数 (reward functions)，以优化从有限的演示中推断表达丰富的奖励函数的能力，并演示了该方法可以有效地从图像中恢复新任务的奖励。

    May, 2018

  • 使用 System 1 和 System 2 的强化学习和逆向强化学习

    探讨个体行为目标的两种模型之间的区别，一种是理性演员模型，另一种是双系统模型，并在此基础上提出了一种新的基于 IRL 算法的方法来正确地推断双系统决策者的目标。

    Nov, 2018

  • 基于观测学习的因果机器人通讯

    介绍了如何应用心理学的学习行为洞见为机器人意图交流提供洞见，并通过从一个动作序列中选择性地解释因果动作的方式，使机器人更有效地传达其目的。

    Mar, 2022