自信感感知的逆约束强化学习

Jun, 2024

Confidence Aware Inverse Constrained Reinforcement Learning

Sriram Ganapathi Subramanian, Guiliang Liu, Mohammed Elmahgiubi, Kasra Rezaee, Pascal Poupart

TL;DR逆向约束强化学习 (Inverse Constraint Reinforcement Learning, ICRL) 领域研究了从离线专家演示中估计约束的算法，并提供了一种基于置信水平对专家演示进行约束估计的方法，使用户可以选择满足期望置信水平的约束进行使用，同时允许用户了解专家轨迹数量不足时的情况并采集更多专家轨迹以同时学习满足期望置信水平的约束和达到期望性能水平的策略。

Abstract

In coming up with solutions to real-world problems, humans implicitly adhere to constraints that are too numerous and complex to be specified completely. However, reinforcement learning (RL) agents need these

发现论文，激发创造

逆强化学习的高效概率性能界限

本文提出了一种基于贝叶斯思想的采样方法，可用于确定在反向强化学习环境下实际高置信度策略性绩效界限，并演示如何利用该界限进行风险感知的策略选择和改进。

Jul, 2017

逆强化学习的最大似然约束推断

本文针对马可夫决策过程上的反向强化学习问题，即通过一个环境模型以及一个奖励函数，推断出状态、行动、和特征限制，以此来激励智能体的行为。本文针对该问题提出了一个基于最大熵IRL的方法，并提出了一个迭代算法，以最大似然的方式推断最佳的约束条件，同时通过仿真实验和现实数据验证了其有效性。

Sep, 2019

通过展示理解专业技能：一种离线逆向强化学习的最大似然框架

研究了离线逆向强化学习的问题，提出了一种基于双层优化的估计任务公式与新的算法框架来解决这个问题，并在MuJoCo中的连续控制任务以及D4RL基准测试中的不同数据集上，展示了算法胜过现有最先进的离线IRL和模仿学习基准测试大量的结果。

Feb, 2023

从未知奖励的演示中学习安全约束

该研究提出了凸约束学习用于强化学习的方法，该方法通过安全演示从具有可能不同奖励函数的共享约束中推断出受约束马尔可夫决策过程（CMDP）中的约束。与以往的方法不同，该方法可以从具有不同未知奖励的演示中学习约束并构建一个凸安全集，从而保证安全性，即使这些安全演示可能是次优的。该方法在表格环境和多个约束条件的连续驾驶模拟中得到了评估，并证明了可以学到安全行驶行为并且可以转移到不同的任务和环境中。

May, 2023

逆强化学习中悲观主义的优点

通过使用离线RL算法作为IRL过程的一部分，我们能够更有效地找到与专家表现相匹配的策略。

Feb, 2024

离线逆强化学习：新的解决方案概念和可证明高效算法

逆强化学习（IRL）的目标是从行为示范中恢复专家智能体的奖励函数。本文介绍了一种新的可行奖励集概念，捕捉了离线设置的机会和限制，并分析了其估计的复杂性。通过引入针对该设置固有困难的原始学习框架，我们提出了两种计算和统计高效的算法，IRLO和PIRLO，用于解决这个问题。

Feb, 2024

逆约束强化学习的调查：定义、进展与挑战

本研究解决逆约束强化学习（ICRL）中的隐性约束推断问题，填补了相关理论与实践知识的空白。通过系统性梳理最新进展，提出了适用于多种环境和条件的算法框架，显著推动了该领域的发展，同时指出了当前面临的关键挑战与应用潜力，如自主驾驶和机器人控制。

Sep, 2024

可证明高效的逆约束强化学习中的探索

本研究解决了逆约束强化学习（ICRL）中采样策略的有效性和效率未知的问题。通过引入一种可证明高效的探索框架，定义了ICRL问题的可行约束集，并提出了两种算法以实现高效约束推断，结果在多个环境下得到了实证验证，显示出显著的性能提升。

Sep, 2024

可证明有效的逆约束强化学习中的探索

本文解决了逆约束强化学习（ICRL）中现有采样策略效率未知的问题。提出了一种具有保证效率的探索框架，并提出了两种算法，通过动态减少成本估计的有界聚合误差和战略性约束探索策略，来实现有效的约束推断。实验结果显示，这些算法在多种环境下表现优越。

Sep, 2024

医疗卫生领域安全决策的离线逆约束强化学习

本研究解决了医疗决策中存在的安全性不足问题，提出了一种新颖的Constraint Transformer（CT）方法，利用因果注意机制和生成世界模型进行约束建模。研究发现，CT能够有效识别不安全状态，并在多个医疗情境中实现更低的死亡率，减少不安全行为的发生概率。

Oct, 2024