May, 2023

从未知奖励的演示中学习安全约束

HTML
PDF
TL;DR该研究提出了凸约束学习用于强化学习的方法，该方法通过安全演示从具有可能不同奖励函数的共享约束中推断出受约束马尔可夫决策过程（CMDP）中的约束。与以往的方法不同，该方法可以从具有不同未知奖励的演示中学习约束并构建一个凸安全集，从而保证安全性，即使这些安全演示可能是次优的。该方法在表格环境和多个约束条件的连续驾驶模拟中得到了评估，并证明了可以学到安全行驶行为并且可以转移到不同的任务和环境中。
发现论文，激发创造
  • 约束策略优化

    提出了一种新的基于Constrained Policy Optimization (CPO)算法的强化学习策略搜索方法，可保证在每次迭代中实现约束满足，能够应用于高维控制问题，例如，在机器人运动中，智能体必须满足安全性约束条件。

    May, 2017

  • 从演示中学习限制

    本论文提出了一种通过hit-and-run抽样方法，利用任务演示、成本函数以及系统动力学和控制约束知识，学习跨任务共享的未知约束的方法。该方法可以学习系统动力学的不确定性，学习一定量的约束，并且适用于线性和非线性系统的控制。

    Dec, 2018

  • 安全关键强化学习的概率约束

    本文探讨了在概率受限制的强化学习中学习安全策略的问题，并提出了两种算法——Safe Policy Gradient-REINFORCE和SPG-Actor-Critic以及Safe Primal-Dual算法来解决。通过实验，验证了这些方法的有效性和优越性。

    Jun, 2023

  • 从多任务演示中学习共享安全约束

    从专家演示的安全任务完成中学习约束条件的方法扩展了逆强化学习（IRL）技术到约束空间，通过利用多任务环境中自然发生的各种演示来学习更紧密的约束条件。

    Sep, 2023

  • 多功能安全强化学习的约束条件策略优化

    我们提出了一种适用于实际动态应用的Conditioned Constrained Policy Optimization (CCPO)框架，通过引入Versatile Value Estimation (VVE)和Conditioned Variational Inference (CVI)两个关键模块，在训练效率和零-shot适应能力方面超过基准，同时在安全性和任务性能方面保持一个高水平。

    Oct, 2023

  • 安全强化学习中的约束形式调查

    基于约束条件的安全强化学习方法在实现安全优化代理策略方面发挥了重要作用，本研究综述了代表性约束形式以及专为每种形式设计的算法，并揭示了常见问题形式之间的数学相互关系，最后讨论了安全强化学习研究的现状和未来方向。

    Feb, 2024

  • 使用贝叶斯世界模型和对数障碍优化的安全探索

    一种用于处理约束马尔可夫决策过程的安全强化学习方法CERL被提出，该方法通过利用贝叶斯世界模型并建议对模型的认知不确定性持悲观态度的策略，确保了安全性和学习过程中的安全探索，实验结果显示CERL在处理基于图像观察的CMDP的安全性和最优性方面优于现有最先进方法。

    May, 2024

  • Safe CoR: 用约束性回报集成模仿学习和安全强化学习的双专家方法

    在自主机器人领域，确保复杂和动态环境下的安全性和可靠性仍然是一个重大挑战。通过引入安全约束，安全强化学习解决这些问题，但在复杂驾驶环境等复杂环境中仍面临挑战。为了应对这些挑战，我们提出了安全约束奖励（Safe CoR）框架，这是一种利用两种类型的专家演示（重点是性能优化的奖励专家演示和优先考虑安全性的安全专家演示）的新方法。通过利用约束奖励（CoR），我们的框架指导智能体平衡奖励总和的性能目标与安全约束。我们在包括safety gym、metadrive和真实世界的Jackal平台在内的多种环境中测试了所提出的框架。在真实世界的Jackal平台上，我们提出的框架提高了算法的性能39%并减少了约束违规88%，证明了该框架的有效性。通过这种创新方法，我们期望在现实世界的性能方面取得重大进展，从而在安全可靠的自主机器人领域产生深远影响。

    Jul, 2024

  • 逆约束强化学习的调查：定义、进展与挑战

    本研究解决逆约束强化学习（ICRL）中的隐性约束推断问题，填补了相关理论与实践知识的空白。通过系统性梳理最新进展，提出了适用于多种环境和条件的算法框架，显著推动了该领域的发展，同时指出了当前面临的关键挑战与应用潜力，如自主驾驶和机器人控制。

    Sep, 2024

  • 可证明有效的逆约束强化学习中的探索

    本文解决了逆约束强化学习（ICRL）中现有采样策略效率未知的问题。提出了一种具有保证效率的探索框架，并提出了两种算法，通过动态减少成本估计的有界聚合误差和战略性约束探索策略，来实现有效的约束推断。实验结果显示，这些算法在多种环境下表现优越。

    Sep, 2024