Jun, 2020

风险敏感的强化学习:在遗憾中实现近乎最优的风险-样本平衡

HTML
PDF
TL;DR本文研究了未知转移核情况下的风险敏感强化学习问题，提出了两种模型无关的算法，Risk-Sensitive Value Iteration (RSVI) 和 Risk-Sensitive Q-learning (RSQ)，证明了它们的近似最优性，并在样本效率和风险敏感之间达成了权衡（利用类指数效用量化了这种权衡），对风险敏感的强化学习做了第一次回报分析，证明该算法的准最优性。
发现论文，激发创造
  • 认知风险敏感强化学习

    本文介绍了一种基于偏爱函数的风险感知的增强学习框架，在不确定的环境下可以通过调节风险偏好参数实现风险规避，风险中性或风险承受。同时，作者使用动态规划和策略梯度算法来衡量和控制认知风险，并将风险规避策略与认知风险环境下的最优风险中性策略进行了比较分析。

    Jun, 2019

  • 指数贝尔曼方程与强化学习风险敏感性的改进遗憾界

    本研究旨在探究基于熵风险度量的风险敏感强化学习，通过开发一种新的风险敏感反馈机制，使得监督过程能够更有效地引导智能体策略的改进，进而提升其性能表现。

    Nov, 2021

  • 通过可证明遗憾界实现分布式和风险敏感的强化学习

    研究了通过分布式强化学习方法实现风险敏感强化学习的后悔保证，提出了两种新的DRL算法，并通过样本复杂度桥接了DRL和RSRL。同时还改进了现有的下限，并提出了更紧的下限。

    Oct, 2022

  • 非平稳风险敏感强化学习: 近似最优动态遗憾、自适应检测和分离设计

    研究使用熵风险度量在非平稳有限马尔可夫决策过程中采用风险敏感强化学习，提出了两种基于重启的算法以及自适应检测不稳定性的元算法，并证明了算法的动态后悔下界。该研究为文献中的非平稳风险敏感强化学习提供了首个非渐近理论分析。

    Nov, 2022

  • 利普希茨动态风险度量下的风险敏感型强化学习遗憾界

    本研究应用Lipschitz动态风险度量，提出了两种模型算法用于有限时间马尔可夫决策过程，建立了遗憾上界和下界，并通过数值实验证实了理论结果。

    Jun, 2023

  • 针对风险感知强化学习的分布式模型等价性

    本文研究的问题是如何学习用于风险敏感强化学习的模型。我们提出了通过分布强化学习引入两个新的模型等价概念，可以使我们规划任何风险度量的最优解，但我们还提出了一种实用可行的风险度量模型并展示了我们的框架可以用来增强任何模型无关的风险敏感算法。

    Jul, 2023

  • 经证明高效的部分可观察风险敏感强化学习与事后观测

    该论文通过引入后见观察机制，研究了部分可观测环境下风险敏感强化学习的悔恨分析，提出了在部分可观测马尔可夫决策过程框架下优化累积奖励的新方法。通过严格的分析证明了算法在模型降级为风险中性或完全可观测设置时，能够实现多项式悔恨。该研究对强化学习的理论研究具有特殊意义。

    Feb, 2024

  • 通过将风险敏感强化学习优化等效确定性实现标准强化学习

    我们研究了具有优化的等效保证风险（OCE risk）的风险敏感强化学习（Risk-Sensitive Reinforcement Learning），并提出了两种基于标准强化学习的通用元算法：一种基于乐观算法，另一种基于策略优化。

    Mar, 2024

  • 面向高效风险敏感策略梯度：迭代复杂性分析

    我们对风险敏感策略梯度方法进行了详尽的迭代复杂度分析，得到了达到ε-近似一阶稳定点（FOSP）所需的迭代复杂度为O(ε^{-2})。我们研究了风险敏感算法是否可以达到更好的迭代复杂度；理论分析表明，风险敏感的REINFORCE算法可以减少迭代次数以实现收敛，而使用指数效用函数则不需要额外的每次迭代计算。我们还表征了风险敏感算法能够实现更好迭代复杂度的条件。同时，我们的模拟结果验证了在大约半数的回合后，风险回避情况下的算法与风险中性情况下的算法相比能够更快地收敛和稳定。

    Mar, 2024

  • 悲观遇见风险：风险敏感的离线强化学习

    我们研究了风险敏感强化学习，该领域因其在必须管理不确定性和最小化潜在不利结果的情况下提高决策能力而至关重要。尤其是，我们的工作重点是将熵风险度量应用于强化学习问题。我们提出了两种能够证明样本利用效率的算法，分别是基于风险敏感的悲观值迭代算法和利用方差信息和参考优势分解的悲观算法，这有效地改善了对空间维度d和风险敏感因子的依赖。据我们所知，我们获得了第一批能够有证据表明有效的风险敏感离线强化学习算法。

    Jul, 2024