Feb, 2023

基于模型的价值函数不确定性

PDF
TL;DR在模型基强化学习中，我们考虑了如何量化累积奖励的不确定性，并提出了一种新的不确定 Bellman 方程来弥补现有工作的不足，该方法能够更准确地告诉我们此前探索的不足。实验表明，这种更精确的不确定性估计方法能够提高样本效率。
uncertaintyreinforcement learningmdpsexploration strategiesdeep reinforcement learning
发现论文，激发创造
  • 基于模型的风险意识策略优化的认知变异性

    基于模型的强化学习中，我们考虑量化预期累积奖励的不确定性问题。我们提出了一个新的不确定性 Bellman 方程，其收敛到真实后验价值方差并在表格型探索问题中降低遗憾。我们鉴定了超越表格问题的应用挑战，并提出了相应的近似方法。基于这个近似，我们引入了一种通用的策略优化算法，Q - 不确定性软 Actor-Critic（QU-SAC），可在风险追求或风险规避的策略优化中进行最小程度改动。在线与离线强化学习的实验结果表明相较于其他不确定性估计方法，性能得到了提升。

    Dec, 2023

  • 不确定贝尔曼方程与探索

    本文中，我们考虑了强化学习中的探索 / 利用问题，提出了不确定性 Bellman 方程 (UBE) 来扩展策略的潜在探索利益，并证明了该方程的唯一不动点产生的方差上限是由任何策略引起的 Q 值的后验分布，相较于传统的基于计数的奖励方法，它控制了方差，将 UBE 探索策略替换为 ε-greedy 可提高在 Atari 游戏中 DQN 性能的表现。

    Sep, 2017

  • 基于价值分布的模型化强化学习

    基于模型的贝叶斯强化学习视角，本研究旨在学习马尔科夫决策过程中基于参数（认知）不确定性引发的值函数后验分布的不确定性，通过引入一个 Bellman 算子，我们提出了 Epistemic Quantile-Regression (EQR) 算法，该算法学习了一个值函数分布，可用于策略优化，在几个连续控制任务中进行评估，表现优于已建立的基于模型和无模型算法。

    Aug, 2023

  • 基于模型的贝叶斯探索

    本文论述的是如何在强化学习的算法中基于概率分布估算每个行动的信息价值，并选择能够平衡探索与利用的最佳行动。

    Jan, 2013

  • 有限状态马尔可夫决策过程中的离线贝叶斯不确定性量化与后验值优化

    在这篇文章中，我们解决了以未知动态的有限状态马尔科夫决策过程（MDPs）的离线使用为情景的贝叶斯不确定性的量化并将其合并的挑战。我们的方法提供了一种原则性方法来区分认识不确定性和机缘不确定性，以及一种无需依赖于 MDP 的后验分布的强假设来找到优化贝叶斯后验期望值的策略的新技术。

    Jun, 2024

  • 具有遗憾界限的变分贝叶斯强化学习

    本文中，我们利用一种新的 Bellman 算子和相应的固定点，称为‘知识价值’，将期望未来回报和认知不确定性压缩成一个单一的值，从而实现了一种风险追求效用函数，并通过 Boltzmann 策略生成贝叶斯风险边界。

    Jul, 2018

  • 通过不确定性估计实现高样本利用率的深度强化学习

    本文提出了一种名为逆方差强化学习的贝叶斯框架，结合概率一致集和批次逆方差加权，采用两种互补的不确定性估计方法来更好地缓解深强化学习中嘈杂监督的负面影响，从而显著提高了离散和连续控制任务的样本效率。

    Jan, 2022

  • 双不确定值网络实现的高效探索

    通过跟踪每个可用行动价值的不确定性来研究针对强化学习智能体的定向探索，通过贝叶斯丢弃估计参数不确定性，通过钟形曲线的高斯分布传播来估计回报不确定性，并使用学习的分布直接推导策略。

    Nov, 2017

  • 无模型鲁棒平均奖励强化学习

    该研究主要关注如何处理模型不确定性对于 Markov 决策进程的影响。研究提出了两个无模型算法并探讨了常用的不确定性集合。

    May, 2023

  • 基于模型的价值估计，用于高效的无模型强化学习

    本文提出了一种基于模型的价值拓展方法，通过限制想象的深度，控制模型的不确定性，提高了模型自由强化学习算法中学习价值估计的样本复杂度，针对连续控制任务使用了学习到的动态模型。

    Feb, 2018