AAAIDec, 2023

使用单类决策树从示范中学习安全约束

PDF
TL;DR自主代理与人类价值的对齐是部署这些代理到物理环境中时的一个关键挑战，安全性是其中一个重要关注点。为了解决这一挑战，我们提出了一种新的方法，利用一类决策树来从专家示范中进行学习。这些决策树以逻辑公式的形式表示与给定环境相关的一组约束条件。所学到的约束条件随后用于有约束的强化学习框架，实现安全策略的获取。与其他方法不同，我们的方法提供了约束条件的可解释性表示，这在安全关键环境中是一个至关重要的特性。为了验证我们提出方法的有效性，我们在合成基准领域和真实驾驶环境中进行了实验。
autonomous agentshuman valuessafetyone-class decision treesoracle constrained reinforcement learning
发现论文，激发创造
  • 从演示中学习限制

    本论文提出了一种通过 hit-and-run 抽样方法，利用任务演示、成本函数以及系统动力学和控制约束知识，学习跨任务共享的未知约束的方法。该方法可以学习系统动力学的不确定性，学习一定量的约束，并且适用于线性和非线性系统的控制。

    Dec, 2018

  • 从多任务演示中学习共享安全约束

    从专家演示的安全任务完成中学习约束条件的方法扩展了逆强化学习（IRL）技术到约束空间，通过利用多任务环境中自然发生的各种演示来学习更紧密的约束条件。

    Sep, 2023

  • 通过人类示范辅助强化学习在自动驾驶车道变换中的安全决策

    通过将人类驾驶员的决策作为安全演示进行学习，本研究提出的基于强化学习的决策策略在实践中可显著提高自主驾驶汽车的安全性。

    Jul, 2022

  • System III: 使用领域知识进行学习以满足安全限制

    提出了一种新颖的框架，在强化学习代理中引入领域知识以促进安全探索和提高样本效率，该方法在 OpenAI 的 Gym 和 Safety-Gym 环境中的任务中均表现出了更安全的探索和更高的样本效率。

    Apr, 2023

  • 自主导航中深度强化学习的安全约束评估

    此研究比较了两种可学习导航策略（安全和不安全），表明安全策略能够在训练过程中生成具有更大间隙（与障碍物之间的距离）的轨迹，减少碰撞，且不影响整体性能。

    Jul, 2023

  • 基于灵活约束的层次强化学习优化

    该论文主要研究通过约束条件解决具有复杂安全约束的长期决策问题，提出了一种结合高级有约束规划代理和低级目标条件强化学习代理的机制，能够处理成本分布的约束，并在实验中验证了其实用性。

    Feb, 2023

  • 长短期约束驱动的安全强化学习在自动驾驶中的应用

    提出一种基于长短期约束的安全强化学习算法，用于优化端到端自动驾驶的训练过程，实现连续状态和行动任务中更高的安全性和长距离决策任务中更高的探索性能。

    Mar, 2024

  • 约束流形上的安全强化学习：理论与应用

    将基于学习的技术，特别是强化学习，整合到机器人技术中来解决非结构化环境中的复杂问题很具有前景。本文展示了我们如何以原则性的方式将复杂的安全约束强加于基于学习的机器人系统中，从理论和实践的角度进行了展示。

    Apr, 2024

  • 从未知奖励的演示中学习安全约束

    该研究提出了凸约束学习用于强化学习的方法，该方法通过安全演示从具有可能不同奖励函数的共享约束中推断出受约束马尔可夫决策过程（CMDP）中的约束。与以往的方法不同，该方法可以从具有不同未知奖励的演示中学习约束并构建一个凸安全集，从而保证安全性，即使这些安全演示可能是次优的。该方法在表格环境和多个约束条件的连续驾驶模拟中得到了评估，并证明了可以学到安全行驶行为并且可以转移到不同的任务和环境中。

    May, 2023

  • Safe CoR: 用约束性回报集成模仿学习和安全强化学习的双专家方法

    在自主机器人领域，确保复杂和动态环境下的安全性和可靠性仍然是一个重大挑战。通过引入安全约束，安全强化学习解决这些问题，但在复杂驾驶环境等复杂环境中仍面临挑战。为了应对这些挑战，我们提出了安全约束奖励（Safe CoR）框架，这是一种利用两种类型的专家演示（重点是性能优化的奖励专家演示和优先考虑安全性的安全专家演示）的新方法。通过利用约束奖励（CoR），我们的框架指导智能体平衡奖励总和的性能目标与安全约束。我们在包括 safety gym、metadrive 和真实世界的 Jackal 平台在内的多种环境中测试了所提出的框架。在真实世界的 Jackal 平台上，我们提出的框架提高了算法的性能 39% 并减少了约束违规 88%，证明了该框架的有效性。通过这种创新方法，我们期望在现实世界的性能方面取得重大进展，从而在安全可靠的自主机器人领域产生深远影响。

    Jul, 2024