ICLROct, 2022

带不确定性的规划：模型基强化学习中的深度探索

PDF
TL;DR本文研究了深度模型与强化学习中的样本效率问题。通过将认知不确定性引入到计划树中，规避了标准方法的不确定性传播，并通过 MuZero 算法进行了评估验证。 实验结果表明，可以通过不确定性规划实现有效的深度探索，从而显著提高样本效率。
reinforcement learningdeep explorationepistemic uncertaintymodel-based rlsample efficiency
发现论文，激发创造
  • 谨防不确定性：风险意识和积极探索模型的基于强化学习

    我们引入了一种简单而有效的方法来管理基于模型的强化学习中的风险，该方法使用了概率安全约束、在确知不确定性面前的乐观和在事件性不确定性面前的悲观以及一组随机神经网络的平衡。各种实验证明，不确定性的分离对于在不确定和安全关键的控制环境中使用数据驱动的 MPC 方法表现良好是至关重要的。

    Sep, 2023

  • 基于校准的模型驱动深度强化学习

    探索了模型强化学习需要哪些不确定性，论证了好的不确定性必须具有校准性，并描述了一种简单的方法来增强任何模型强化学习代理程序，并表明通过校准模型，可以一致地提高规划、样本复杂度和探索能力，该方法在 HalfCheetah MuJoCo 任务中实现了最先进的性能，使用 50％少的样本比当前领先的方法，并且研究表明，这种校准可以在计算和实施开销最小的情况下提高模型强化学习的性能。

    Jun, 2019

  • 风险敏感和鲁棒的基于模型的强化学习和规划

    本研究主要关注序列决策算法中的不确定性和风险问题，通过探索规划和强化学习两种方法，尤其是面向基于模型算法的研究，旨在缓解 epistemic 和 aleatoric 不确定性问题。

    Apr, 2023

  • 深度强化学习中的风险和不确定性估计

    提出了一个框架，通过学习的 Q 值来区分和估计强化学习中源于有限数据的认识不确定性和源于随机环境的 aleatoric 不确定性，并引入一种考虑不确定性的 DQN 算法，该算法表现出安全的学习行为，并在 MinAtar 测试中表现出优越性能。

    May, 2019

  • 基于模型内在动机的离策略学习与主动在线探索

    通过引入预测模型和离线学习元素，结合一个实用性较高的终端价值函数，本文研究了如何在连续控制任务中实现样本高效的探索能力。通过利用潜在状态空间内的前向预测误差，我们得出了一种不引入额外参数的固有奖励。该奖励与模型不确定性有强烈的关联，使得智能体能够有效地克服渐进性能差距。通过广泛的实验证明，我们的方法在与以往工作的比较中表现出有竞争力的甚至更优异的性能，尤其是在稀疏奖励的情况下。

    Mar, 2024

  • 通过本地规划实现样本高效深度强化学习

    本文提出了一种名为 “不确定性优先本地规划” 的算法框架，结合模拟器的属性，在每一次数据收集迭代中，以一定概率将环境重置到高度不确定性的已观测状态，这样可以显著提高几个基准强化学习算法在困难的探索任务上的样本成本，并在 Atari 游戏 Montezuma's Revenge 中实现了超人类性能。

    Jan, 2023

  • 论规划在基于模型的深度强化学习中的作用

    本文研究了 MuZero，一种先进的模型基强化学习算法在控制任务、Atari 游戏和 9x9 围棋等多种环境下的表现，阐述了规划在强化学习中的作用，以及如何在规划过程中优化算法，提高表现，并指出单独采用规划无法实现强的泛化能力。

    Nov, 2020

  • 通过不确定性估计实现高样本利用率的深度强化学习

    本文提出了一种名为逆方差强化学习的贝叶斯框架，结合概率一致集和批次逆方差加权，采用两种互补的不确定性估计方法来更好地缓解深强化学习中嘈杂监督的负面影响，从而显著提高了离散和连续控制任务的样本效率。

    Jan, 2022

  • 基于模型的贝叶斯探索

    本文论述的是如何在强化学习的算法中基于概率分布估算每个行动的信息价值，并选择能够平衡探索与利用的最佳行动。

    Jan, 2013

  • 基于模型的价值估计，用于高效的无模型强化学习

    本文提出了一种基于模型的价值拓展方法，通过限制想象的深度，控制模型的不确定性，提高了模型自由强化学习算法中学习价值估计的样本复杂度，针对连续控制任务使用了学习到的动态模型。

    Feb, 2018