May, 2023

最大因果熵限制的强化学习

PDF
TL;DR提出一种基于最大因果熵的方法来学习环境约束下的最优策略，该方法利用在约束下运作的代理的演示进行学习，证明了其在表格设置中的收敛性并提供了一个可扩展到复杂环境的近似值。通过评估奖励和约束违规数，评估学习策略的有效性，并基于其在其他代理中的可转移性评估学习成本函数。此方法已经在各种任务和环境中表现优于现有技术，能够处理具有随机动态和连续状态动作空间的问题。
发现论文，激发创造
  • 逆强化学习的最大似然约束推断

    本文针对马可夫决策过程上的反向强化学习问题，即通过一个环境模型以及一个奖励函数，推断出状态、行动、和特征限制，以此来激励智能体的行为。本文针对该问题提出了一个基于最大熵 IRL 的方法，并提出了一个迭代算法，以最大似然的方式推断最佳的约束条件，同时通过仿真实验和现实数据验证了其有效性。

    Sep, 2019

  • 最大因果熵逆强化学习入门

    本文介绍了反向强化学习领域最受欢迎的 Maximum Causal Entropy (MCE) IRL 算法及其算法实现的压缩推导和关键结果，旨在为新手提供入门资源，也为熟悉这些主题的人提供简洁的参考。

    Mar, 2022

  • 从演示中学习行为软约束

    本研究提出了一种新的逆强化学习方法，用于学习马尔可夫决策过程模型中人类在复杂环境中制定决策时的约束和偏好，从而在 AI 与人类的团队中更好的模拟人类行为和提高决策效率。

    Feb, 2022

  • 深度反向 Q 学习与约束

    提出了一种新的算法类，仅需要解决一次 MDP 就能恢复专家策略，在 Continuous state-spaces 中使用函数逼近估算相应的行动 - 价值函数，可以有效替代 (深度) Max-Entropy 算法用于自主驾驶的学习。

    Aug, 2020

  • 最大熵深层逆强化学习

    本文提出了一个利用神经网络的表征能力来近似复杂的非线性奖励函数以解决反向强化学习问题的一般框架，并展示了最大熵范例在 IRL 中的有效训练方法，具有与现有基准相当的性能，超过基于高度变化奖励结构的替代基准。同时，作者将基本架构扩展为包括更大的卷积以消除对预计算空间特征的依赖并运作在原始输入表示上。

    Jul, 2015

  • 最大熵强化学习 (可证明地) 解决了一些鲁棒强化学习问题

    该论文证明了最大熵（MaxEnt）强化学习可以用于学习对某些动态干扰和奖励函数干扰具有鲁棒性的策略，是一种简单并具有吸引力形式保证的鲁棒强化学习方法。

    Mar, 2021

  • 均场博弈中最大因果熵逆向强化学习

    我们介绍了关于离散时间平均场博弈下最大因果熵逆强化学习问题。我们通过综述确定性和随机马尔科夫决策过程在有限和无限时域情景下的最大熵逆强化学习问题，提出了最大因果熵逆强化学习问题，这是一个非凸优化问题。我们使用线性规划的方式对问题进行了重构，建立了一个梯度下降算法来计算最优解，并通过将平均场博弈问题转化为广义纳什均衡问题来提出一种新算法。该算法可用于计算正向强化学习问题的平均场均衡，并应用于数值示例。我们注意到，该算法也适用于一般的平均场均衡计算。

    Jan, 2024

  • 反向受限强化学习

    研究使用强化学习智能体从行为演示中学习约束以及将其迁移到具有不同形态和奖励功能的新智能体的方法，建立了能够在高维度完全无模型的情况下学习任意 Markovian 约束的框架，并且该方法与之前的工作相比，在离散设置、特定类型约束和环境转移动力学等方面表现更好。

    Nov, 2020

  • 伴随明确策略评估的逆强化学习

    本文介绍了一种将机器学习和经济学中互相独立发展的求解逆强化学习问题的不同方法联系起来的方法，发现了它们属于一类共同形式目标、策略和目标梯度的优化问题，探究了不同方法的适用场景和算法效率。

    Mar, 2021

  • 约束递归限制在受限制的强化学习中以防止不稳定性

    考虑在马尔可夫决策过程中找到一种确定性策略，该策略统一（在所有状态下）最大化一种奖励，同时受到不同奖励的概率约束。本文提出了一种适当的约束强化学习算法来防止学习不稳定性，并使用递归约束描述了我们的问题的动机和适用性。

    Jan, 2022