Feb, 2024

可证明的风险敏感分布式强化学习与通用函数逼近

PDF
TL;DR该研究介绍了一种风险敏感的分布式强化学习 (RS-DisRL) 框架，包括静态 Lipschitz 风险度量、泛函逼近等，用于分析评估 RSRL 策略的估计函数对其有效性和样本复杂度的影响，并设计了两种创新的元算法：面向基于模型的函数逼近的 RS-DisRL-M 和面向通用价值函数逼近的 RS-DisRL-V。通过利用最小二乘回归 (LSR) 和最大似然估计 (MLE) 的新颖估计技术，结合增强马尔可夫决策过程 (MDP) 中的分布式 RL，推导出了具有静态 Lipschitz 风险度量的 RSRL 的遗憾上界的首个 O (√K) 依赖关系，对这个领域中的统计有效算法做出了创新性贡献。
发现论文，激发创造
  • 风险敏感马尔可夫决策过程与普遍效用函数下的学习

    在实践中，决策者经常面临着不同的风险偏好和不确定性的情况，传统的风险中性强化学习框架无法很好地捕捉到这些情况。本文提出了一种利用泛化的效用函数来解决风险敏感的强化学习问题的方法，并设计了可实现的近似算法来求解该问题。

    Nov, 2023

  • 通过可证明遗憾界实现分布式和风险敏感的强化学习

    研究了通过分布式强化学习方法实现风险敏感强化学习的后悔保证，提出了两种新的 DRL 算法，并通过样本复杂度桥接了 DRL 和 RSRL。同时还改进了现有的下限，并提出了更紧的下限。

    Oct, 2022

  • 风险敏感强化学习是否得到适当解决？

    本论文研究风险敏感强化学习，在已有 RSRL 方法存在优化偏差的理论下，提出新的 Trajectory Q-Learning 算法，能够有效地实现不同风险度量的风险敏感策略。

    Jul, 2023

  • 可证明高效的迭代 CVaR 强化学习与函数逼近

    使用线性和一般函数逼近，对风险敏感的强化学习（RL）进行了研究，提出了名为 ICVaR-RL 的新的风险敏感 RL 公式，为每个决策步骤提供了保证安全性的原则方法，并提出了 ICVaR-L 和 ICVaR-G 两个高效算法，以及对 CVaR 算子的高效逼近，适应 CVaR 的特征的新的岭回归，以及精炼的椭球潜力引理。

    Jul, 2023

  • 证明收敛性的风险敏感分布式强化学习的策略梯度方法

    该研究论文介绍了一种用于风险敏感分布式强化学习的策略梯度方法，以及一种基于分布式策略评估和轨迹梯度估计的分类分布式策略梯度算法（CDPG）。通过在随机悬崖环境上进行实验，展示了在分布式强化学习中考虑风险敏感性的益处。

    May, 2024

  • 具有线性函数逼近的分布鲁棒离线强化学习

    本论文介绍了一种用于解决强化学习中有限数据和训练测试环境不匹配的问题的分布式离线 RL 方法，该方法使用历史数据学习分布式鲁棒的策略，包括线性函数逼近的情况，提出了两种算法，得出了第一个样例复杂度的非渐近性结果，并展示了其在实验上的优越性。

    Sep, 2022

  • 风险敏感的强化学习：在遗憾中实现近乎最优的风险 - 样本平衡

    本文研究了未知转移核情况下的风险敏感强化学习问题，提出了两种模型无关的算法，Risk-Sensitive Value Iteration (RSVI) 和 Risk-Sensitive Q-learning (RSQ)，证明了它们的近似最优性，并在样本效率和风险敏感之间达成了权衡（利用类指数效用量化了这种权衡），对风险敏感的强化学习做了第一次回报分析，证明该算法的准最优性。

    Jun, 2020

  • 风险厌恶强化学习的分布式方法

    我们提出了一种分布式方法，用于在风险规避马尔可夫决策过程中学习最优策略，该方法使用嵌套 Kusuoka 类型条件风险映射构造的动态风险度量来评估策略表现，利用了对应动态规划原理中嵌入的某些结构，使用深度神经网络逼近值函数的条件分布，避免了探索阶段的维度灾难，并使用随机选择的一系列模型参数探索了该方法的性能。

    Feb, 2023

  • 通过将风险敏感强化学习优化等效确定性实现标准强化学习

    我们研究了具有优化的等效保证风险（OCE risk）的风险敏感强化学习（Risk-Sensitive Reinforcement Learning），并提出了两种基于标准强化学习的通用元算法：一种基于乐观算法，另一种基于策略优化。

    Mar, 2024

  • 使用通用价值函数逼近进行强化学习中的随机探索

    提出了一种无模型强化学习算法，由于乐观原则和最小二乘价值迭代算法的启示，通过简单地使用谨慎选择的独立同分布的标量噪声扰乱训练数据来推动探索，在估计乐观值函数的同时引入了一种乐观的奖励采样过程，并证明了当数值函数可由函数类 \mathcal {F} 表示时，该算法实现了最坏情况下的遗憾度量边界，并在已知的难度探索任务上进行了实证评估。

    Jun, 2021