Feb, 2024

概率演员 - 评论家：利用 PAC-Bayes 不确定性学习探索

PDF
TL;DRProbabilistic Actor-Critic (PAC) algorithm improves continuous control performance by integrating stochastic policies and critics, explicitly modeling critic uncertainty through PAC-Bayes analysis, and adapting exploration strategy in deep reinforcement learning.
probabilistic actor-criticreinforcement learningcontinuous controlexploration-exploitation trade-offpac-bayes analysis
发现论文，激发创造
  • 乐观演员 - 评论家算法实现更好的探索

    本论文提出了一种新的强化学习算法 —— 乐观的 Actor-Critic 方法 (OAC)，通过在状态动作值函数上近似上限和下限的置信区间，实现了在探索性上的乐观及方向性采样，从而提高了算法对连续控制任务的采样效率。

    Oct, 2019

  • Wasserstein Actor-Critic：基于乐观主义的连续动作控制导向探索

    本文提出基于 Wasserstein Q-Learning 的 Wasserstein Actor-Critic (WAC) 体系结构，通过使用近似的 Q 后验表示表示先验不确定性，并使用 Wasserstein barycenters 在状态动作空间中传播不确定性。最终，在标准 MujoCo 任务以及一系列需要探索的连续动作领域中评估我们的算法和基线。

    Mar, 2023

  • 带有阶段演员的演员 - 评论家强化学习

    强化学习中的政策梯度方法在解决连续最优控制问题方面具有很大潜力。本研究提出了一种名为 Phased Actor in Actor-Critic (PAAC) 的新方法，旨在改善政策梯度估计的质量，减少随机性变化，并提供稳定的系统动力学。PAAC 在 DeepMind Control Suite (DMC) 中的评估结果显示了其在学习成本、鲁棒性、学习速度和成功率方面显著的性能提升，通过与其他相关方法的比较，为这些政策梯度算法提供了统一视角。

    Apr, 2024

  • 贝叶斯探索网络

    贝叶斯强化学习在面对不确定性的顺序决策问题中提供了一种原则性和优雅的方法，但其主要挑战是在高维状态转移分布中建模不确定性的计算复杂性。本文提出了一种新颖的无模型方法来解决这个挑战，通过在一维贝尔曼算子中建模不确定性，引入贝叶斯探索网络 (BEN)，通过正态化流来建模贝尔曼算子中的不确定性，并通过变分推断来建模知识性不确定性，实验结果表明，BEN 可以在现有的无模型方法失败的任务中学习到真正的贝叶斯最优策略。

    Aug, 2023

  • 深度强化学习中的悲观和乐观动态探索

    通过利用悲观的状态 - 动作值函数更新，以及通过可解释参数独立控制悲观 / 乐观程度，Utility Soft Actor-Critic (USAC) 在离策略演员 - 评论家算法中实现了平衡，可以根据任务的性质，在恰当配置的悲观 / 乐观参数情况下胜过现有算法。

    Jun, 2024

  • PAC-Bayesian 学习初探

    本文对 PAC-Bayes 框架及其主要理论和算法发展进行了自包含的调查研究。

    Jan, 2019

  • 基于模型的贝叶斯探索

    本文论述的是如何在强化学习的算法中基于概率分布估算每个行动的信息价值，并选择能够平衡探索与利用的最佳行动。

    Jan, 2013

  • 具有 PAC-Bayesian 保证的学习优化：理论考虑和实践实现

    用 PAC-Bayesian 理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架，学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能，基于指数族的 PAC-Bayesian 上界对一般的、可能无界的损失函数提供了可行性，我们通过将学习过程转化为一维最小化问题并研究全局最小值的可能性，提供了一个具体算法实现和学习优化的新方法，并进行了四个实际相关的实验来支持我们的理论，展示出该学习框架使得优化算法的性能有了数个数量级的改进。

    Apr, 2024

  • PACER：基于全推进式的分布式强化学习算法

    本文提出了第一个完全基于推进算子的分布式增强学习算法 PACER，使用了基于策略梯度方法的随机效用价值和基于最大均值差异的鼓励程序，对各种连续控制基准进行了实验评估，结果表明我们的算法优于现有的算法。

    Jun, 2023

  • Actor-Critic 方法在强化学习中的样本复杂度问题与函数近似

    本研究提出了一种新的 Actor-Critic 算法变体，使用 Monte Carlo 演算法在策略搜索更新期间进行 rollouts 以控制偏差，不论策略评估技术的选择，我们都能提供 Actor-Critic 算法的收敛速度，特别是当值函数采用线性函数近似且为连续状态和动作空间时，这些结果适用于 Temporal Difference, Gradient Temporal Difference 和 Accelerated Gradient Temporal Difference。

    Oct, 2019