Feb, 2024

可证明的风险敏感分布式强化学习与通用函数逼近

HTML
PDF
TL;DR该研究介绍了一种风险敏感的分布式强化学习(RS-DisRL)框架，包括静态Lipschitz风险度量、泛函逼近等，用于分析评估RSRL策略的估计函数对其有效性和样本复杂度的影响，并设计了两种创新的元算法：面向基于模型的函数逼近的RS-DisRL-M和面向通用价值函数逼近的RS-DisRL-V。通过利用最小二乘回归(LSR)和最大似然估计(MLE)的新颖估计技术，结合增强马尔可夫决策过程(MDP)中的分布式RL，推导出了具有静态Lipschitz风险度量的RSRL的遗憾上界的首个O(√K)依赖关系，对这个领域中的统计有效算法做出了创新性贡献。
发现论文，激发创造
  • 风险敏感的强化学习:在遗憾中实现近乎最优的风险-样本平衡

    本文研究了未知转移核情况下的风险敏感强化学习问题，提出了两种模型无关的算法，Risk-Sensitive Value Iteration (RSVI) 和 Risk-Sensitive Q-learning (RSQ)，证明了它们的近似最优性，并在样本效率和风险敏感之间达成了权衡（利用类指数效用量化了这种权衡），对风险敏感的强化学习做了第一次回报分析，证明该算法的准最优性。

    Jun, 2020

  • 关于实用的强化学习：可证明的鲁棒性、可扩展性和统计效率

    本文旨在研究多种强化学习方法如鲁棒性RL，分布式RL 和离线RL，并为每个方法提供算法以及未来的相关研究方向。

    Mar, 2022

  • 通过可证明遗憾界实现分布式和风险敏感的强化学习

    研究了通过分布式强化学习方法实现风险敏感强化学习的后悔保证，提出了两种新的DRL算法，并通过样本复杂度桥接了DRL和RSRL。同时还改进了现有的下限，并提出了更紧的下限。

    Oct, 2022

  • 非平稳风险敏感强化学习: 近似最优动态遗憾、自适应检测和分离设计

    研究使用熵风险度量在非平稳有限马尔可夫决策过程中采用风险敏感强化学习，提出了两种基于重启的算法以及自适应检测不稳定性的元算法，并证明了算法的动态后悔下界。该研究为文献中的非平稳风险敏感强化学习提供了首个非渐近理论分析。

    Nov, 2022

  • 利普希茨动态风险度量下的风险敏感型强化学习遗憾界

    本研究应用Lipschitz动态风险度量，提出了两种模型算法用于有限时间马尔可夫决策过程，建立了遗憾上界和下界，并通过数值实验证实了理论结果。

    Jun, 2023

  • 风险敏感强化学习是否得到适当解决？

    本论文研究风险敏感强化学习，在已有 RSRL 方法存在优化偏差的理论下，提出新的 Trajectory Q-Learning 算法，能够有效地实现不同风险度量的风险敏感策略。

    Jul, 2023

  • 针对风险感知强化学习的分布式模型等价性

    本文研究的问题是如何学习用于风险敏感强化学习的模型。我们提出了通过分布强化学习引入两个新的模型等价概念，可以使我们规划任何风险度量的最优解，但我们还提出了一种实用可行的风险度量模型并展示了我们的框架可以用来增强任何模型无关的风险敏感算法。

    Jul, 2023

  • 通过将风险敏感强化学习优化等效确定性实现标准强化学习

    我们研究了具有优化的等效保证风险（OCE risk）的风险敏感强化学习（Risk-Sensitive Reinforcement Learning），并提出了两种基于标准强化学习的通用元算法：一种基于乐观算法，另一种基于策略优化。

    Mar, 2024

  • 证明收敛性的风险敏感分布式强化学习的策略梯度方法

    该研究论文介绍了一种用于风险敏感分布式强化学习的策略梯度方法，以及一种基于分布式策略评估和轨迹梯度估计的分类分布式策略梯度算法（CDPG）。通过在随机悬崖环境上进行实验，展示了在分布式强化学习中考虑风险敏感性的益处。

    May, 2024

  • 悲观遇见风险：风险敏感的离线强化学习

    我们研究了风险敏感强化学习，该领域因其在必须管理不确定性和最小化潜在不利结果的情况下提高决策能力而至关重要。尤其是，我们的工作重点是将熵风险度量应用于强化学习问题。我们提出了两种能够证明样本利用效率的算法，分别是基于风险敏感的悲观值迭代算法和利用方差信息和参考优势分解的悲观算法，这有效地改善了对空间维度d和风险敏感因子的依赖。据我们所知，我们获得了第一批能够有证据表明有效的风险敏感离线强化学习算法。

    Jul, 2024