Apr, 2011

偏好引导和逆强化学习

PDF
TL;DR通过偏好评估，我们提出了 Bayesian 逆强化学习的一个方法，可以从观察到的信息中得出代理的偏好、策略和奖励序列的后验分布，并通过分析和实验结果展示与其他统计逆强化学习方法之间的关系。结果表明，即使观察到的代理策略不是最优的，我们也能够准确确定其偏好，并得出更好的策略。
inverse reinforcement learningpreference elicitationbayesianstatistical formulationpolicy
发现论文，激发创造
  • 贝叶斯多任务逆向强化学习

    本文将逆向强化学习问题推广到多个任务，通过引入一定数量的结构化先验，我们将问题形式化为统计偏好提取。我们展示了我们的框架不仅允许我们从多个专家中有效地学习，而且还可以有效地区分每个专家的目标。

    Jun, 2011

  • 未知环境下的概率逆向强化学习

    我们考虑了在未知的随机马尔可夫环境或游戏中，从代理人的示范学习的问题。我们旨在估计代理人的偏好，以构建同一任务的改进策略。为了做到这一点，我们将已知 MDP 中逆强化学习的概率方法扩展到未知动态或对手的情况。我们通过导出演示者策略和效用的两个简化概率模型来实现这一点，为了易于处理，我们使用了最大后验估计而不是完整的贝叶斯推断。在先验分布相同的情况下，这结果是凸优化问题。我们发现所得到的算法与其他了解动态的逆强化学习方法相比具有很高的竞争力。

    Aug, 2014

  • 基于主动偏好学习的强化学习 APRIL

    本文提出了一种基于偏好反馈的强化学习算法，结合了主动排序策略，能够在具有限先验知识（如群体机器人）的情景下，使用专家反馈指导智能体的策略搜索，经过少量专家排序即可获得满意的策略。

    Aug, 2012

  • 学习无知、不一致智能体的偏好

    研究机器学习中先前观察到的人们的选择，作为贝叶斯反向规划的先验，建议了一种引入计划偏差和时序不一致性的算法，通过构造计划生成模型，分析了其对偏差和忠诚度的推断。人体实验表明，人们也会从系统性偏离最佳行为中解释选择，并考虑这些偏差。

    Dec, 2015

  • 一种基于排名的模仿学习游戏

    本文提出了一种将模仿学习看作是一种基于排名的二人游戏的新框架，并使用一种新型排名误差来实例化该框架，从而同时学习专家演示和偏好，实现了两种模态的优势，并在 Learning from Observation (LfO) 环境中实现了先进的样本效率和可扩展性。

    Feb, 2022

  • 逆向偏好学习：无奖励函数的基于偏好的强化学习

    提出了一种名为 Inverse Preference Learning（IPL）的新算法，用于从离线偏好数据中学习奖励函数，该算法使用 Q 函数来代替学习得到的奖励函数，具有更高的参数效率和更少的算法超参数和学习网络参数。

    May, 2023

  • 通过元反强化学习学习意图的先验知识

    本文通过学习先验 (prior) 函数从其他任务的演示中推断奖励函数 (reward functions)，以优化从有限的演示中推断表达丰富的奖励函数的能力，并演示了该方法可以有效地从图像中恢复新任务的奖励。

    May, 2018

  • 基于梯度学习器的逆强化学习

    本文提出了用于从机器人的多次策略中恢复策略目标的新算法。该算法基于观察所观察到的代理程序沿梯度方向更新其策略参数的假设。

    Jul, 2020

  • 强化学习与概率推断的理解

    本研究因 RL 作为推理方法的短处而对其进行澄清，RL 代理人必须考虑其行动对未来奖励和观察结果的影响，即探索和开发之间的权衡。我们证明了‘RL 作为推理’近似在基本问题中表现不佳，但我们展示了通过小修正该框架可以获得可靠的算法，该算法与最近提出的 K-learning 等价，我们进一步将其与汤普森取样联系起来。

    Jan, 2020

  • 离线强化学习的偏好调查

    利用学习到的环境模型，在完全离线的环境中提出了一种离线基于偏好的强化学习算法 Sim-OPRL，通过模拟轨迹获取偏好反馈，对于超出分布的数据采用悲观方法，对于获取最优策略相关的信息采用乐观方法，提供了关于样本复杂度的理论保证，最后通过在不同环境中的实验结果展示了 Sim-OPRL 的经验性能。

    Jun, 2024