May, 2024

证明收敛性的风险敏感分布式强化学习的策略梯度方法

PDF
TL;DR该研究论文介绍了一种用于风险敏感分布式强化学习的策略梯度方法，以及一种基于分布式策略评估和轨迹梯度估计的分类分布式策略梯度算法（CDPG）。通过在随机悬崖环境上进行实验，展示了在分布式强化学习中考虑风险敏感性的益处。
risk-sensitive reinforcement learningdistributional rlpolicy gradient methodcoherent risk measurescategorical distributional policy gradient algorithm
发现论文，激发创造
  • 风险敏感强化学习是否得到适当解决？

    本论文研究风险敏感强化学习，在已有 RSRL 方法存在优化偏差的理论下，提出新的 Trajectory Q-Learning 算法，能够有效地实现不同风险度量的风险敏感策略。

    Jul, 2023

  • 可证明的风险敏感分布式强化学习与通用函数逼近

    该研究介绍了一种风险敏感的分布式强化学习 (RS-DisRL) 框架，包括静态 Lipschitz 风险度量、泛函逼近等，用于分析评估 RSRL 策略的估计函数对其有效性和样本复杂度的影响，并设计了两种创新的元算法：面向基于模型的函数逼近的 RS-DisRL-M 和面向通用价值函数逼近的 RS-DisRL-V。通过利用最小二乘回归 (LSR) 和最大似然估计 (MLE) 的新颖估计技术，结合增强马尔可夫决策过程 (MDP) 中的分布式 RL，推导出了具有静态 Lipschitz 风险度量的 RSRL 的遗憾上界的首个 O (√K) 依赖关系，对这个领域中的统计有效算法做出了创新性贡献。

    Feb, 2024

  • 风险厌恶强化学习的分布式方法

    我们提出了一种分布式方法，用于在风险规避马尔可夫决策过程中学习最优策略，该方法使用嵌套 Kusuoka 类型条件风险映射构造的动态风险度量来评估策略表现，利用了对应动态规划原理中嵌入的某些结构，使用深度神经网络逼近值函数的条件分布，避免了探索阶段的维度灾难，并使用随机选择的一系列模型参数探索了该方法的性能。

    Feb, 2023

  • 分布鲁棒学习的无偏梯度估计

    通过分布式鲁棒性学习，我们提出了一种新的方法以解决模型的泛化问题，该方法采用随机梯度下降求解外层最小化问题，并通过多层蒙特卡罗随机化有效地估计内层最大化问题的梯度，并通过得出理论结果确定了梯度估计器的最佳参数化，从而在计算时间和统计方差之间平衡。数值实验证明，我们的 DRL 方法在以往研究中具有显著优势。

    Dec, 2020

  • 分布式强化学习中的风险视角探析

    通过风险规划方法提高 DMIX 算法的性能，在多代理环境下进行了全面的实验，此方法可用于探索 Distributional Reinforcement Learning 中风险水平和乐观行为。

    Jun, 2022

  • 在线风险感知适应的分布式强化学习

    介绍了一个新的框架 Distributional RL with Online Risk Adaption (DRL-ORA)，通过在线解决一个总变差最小化问题来量化随机不确定性和认识性不确定性，并通过动态选择认识性风险水平，以解决固定风险水平带来的次优性问题。

    Oct, 2023

  • 一致风险度量的政策梯度

    该研究拓展了风险敏感的强化学习算法的范围，利用凸优化和演员 - 评论家（actor-critic）模型处理动态风险测量，提出了一种统一的方法来应对风险敏感的策略梯度方法。

    Feb, 2015

  • 分布式鲁棒强化学习

    本文提出了一种基于风险规避的探索策略，使用分布式鲁棒策略迭代方案来确保学习过程中的安全，并在连续状态 / 操作空间中扩展了此方法，得出了分布式鲁棒软演员 - 批评家算法的实用算法。

    Feb, 2019

  • 通过可证明遗憾界实现分布式和风险敏感的强化学习

    研究了通过分布式强化学习方法实现风险敏感强化学习的后悔保证，提出了两种新的 DRL 算法，并通过样本复杂度桥接了 DRL 和 RSRL。同时还改进了现有的下限，并提出了更紧的下限。

    Oct, 2022

  • 分类分布式强化学习的分析

    本文为分布式 RL 算法提出了一个分析 CDRL 算法的框架，证明了投影分布 Bellman 计算器在 distributional RL 中的重要性，从根本上联系 CDRL 和 Cramér 距离，并为基于样本的分类分布式 RL 算法提供了收敛性证明。

    Feb, 2018