Sep, 2023

谨防不确定性：风险意识和积极探索模型的基于强化学习

PDF
TL;DR我们引入了一种简单而有效的方法来管理基于模型的强化学习中的风险，该方法使用了概率安全约束、在确知不确定性面前的乐观和在事件性不确定性面前的悲观以及一组随机神经网络的平衡。各种实验证明，不确定性的分离对于在不确定和安全关键的控制环境中使用数据驱动的 MPC 方法表现良好是至关重要的。
risk managementmodel-based reinforcement learningtrajectory samplinguncertainty separationdata-driven mpc
发现论文，激发创造
  • 面向分布式鲁棒安全强化学习的风险规避模型不确定性

    我们提出了一个采用深度强化学习的框架，通过相干畸变风险度量考虑模型不确定性的风险规避观点，并表明我们的公式等价于具有性能和安全保障的分布鲁棒安全强化学习问题，并展示了我们框架在 Real-World 强化学习套件中各种具有安全约束的连续控制任务上产生了稳健安全的表现。

    Jan, 2023

  • 具有模型不确定性估计的安全强化学习

    使用 MC-Dropout 和 Bootstrapping 方法来提高安全驾驶机器人的模型稳定性，实现在未知数据情况下的碰撞回避。

    Oct, 2018

  • 带不确定性的规划：模型基强化学习中的深度探索

    本文研究了深度模型与强化学习中的样本效率问题。通过将认知不确定性引入到计划树中，规避了标准方法的不确定性传播，并通过 MuZero 算法进行了评估验证。 实验结果表明，可以通过不确定性规划实现有效的深度探索，从而显著提高样本效率。

    Oct, 2022

  • 风险敏感和鲁棒的基于模型的强化学习和规划

    本研究主要关注序列决策算法中的不确定性和风险问题，通过探索规划和强化学习两种方法，尤其是面向基于模型算法的研究，旨在缓解 epistemic 和 aleatoric 不确定性问题。

    Apr, 2023

  • 深度强化学习中的风险和不确定性估计

    提出了一个框架，通过学习的 Q 值来区分和估计强化学习中源于有限数据的认识不确定性和源于随机环境的 aleatoric 不确定性，并引入一种考虑不确定性的 DQN 算法，该算法表现出安全的学习行为，并在 MinAtar 测试中表现出优越性能。

    May, 2019

  • 认知风险敏感强化学习

    本文介绍了一种基于偏爱函数的风险感知的增强学习框架，在不确定的环境下可以通过调节风险偏好参数实现风险规避，风险中性或风险承受。同时，作者使用动态规划和策略梯度算法来衡量和控制认知风险，并将风险规避策略与认知风险环境下的最优风险中性策略进行了比较分析。

    Jun, 2019

  • 基于概率模型预测控制的高效数据强化学习

    本文提出了基于概率模型预测控制（MPC）的基于模型的 RL 框架，以减少与环境的相互作用次数的方法。该方法使用高斯过程学习概率转换模型来减少模型误差的影响，同时使用 MPC 找到最小化预期长期成本的控制序列，以达到在受限环境下使用 RL 的目的。

    Jun, 2017

  • 主动学习强化学习：一种随机最优控制方法

    本文提供了一个应对强化学习的框架，解决了建模不确定性和计算成本高的问题，通过使用强化学习来解决随机动态规划方程，所得的强化学习控制器对多种类型的约束条件是安全的，并且可以主动学习建模不确定性，实现实时学习。通过模拟实例证明了提出方法的有效性。

    Sep, 2023

  • 强化学习与集成模型预测安全认证

    本文提出了一种名为集成模型预测安全认证的新算法，该算法结合了基于模型的深度强化学习和基于管道的模型预测控制，通过计划对学习代理所采取的行动进行修正，使安全约束违规最小化。我们的方法旨在通过仅需要由安全控制器生成的离线数据，尽量减少对实际系统的先验知识。我们的结果表明，与可比较的强化学习方法相比，我们可以实现显著减少的约束违规。

    Feb, 2024

  • 强化学习中的保护进展：用于控制策略合成的安全贝叶斯探索

    这篇论文研究了在强化学习过程中如何保证训练的安全性，通过提出一种新的架构处理效率和安全性之间的权衡，并利用贝叶斯推理和马尔可夫决策过程来近似风险，并通过实验结果展示了整体架构的性能。

    Dec, 2023