Mar, 2024

面向高效风险敏感策略梯度：迭代复杂性分析

HTML
PDF
TL;DR我们对风险敏感策略梯度方法进行了详尽的迭代复杂度分析，得到了达到ε-近似一阶稳定点（FOSP）所需的迭代复杂度为O(ε^{-2})。我们研究了风险敏感算法是否可以达到更好的迭代复杂度；理论分析表明，风险敏感的REINFORCE算法可以减少迭代次数以实现收敛，而使用指数效用函数则不需要额外的每次迭代计算。我们还表征了风险敏感算法能够实现更好迭代复杂度的条件。同时，我们的模拟结果验证了在大约半数的回合后，风险回避情况下的算法与风险中性情况下的算法相比能够更快地收敛和稳定。
发现论文，激发创造
  • 用于折扣和平均奖励 MDP 的方差约束Actor-Critic算法

    研究采用演员-评论家算法处理马尔可夫决策问题中的风险敏感准则优化问题，并通过协同扰动优化算法及其他方法解决难以优化的问题。 最后，论文在交通信号控制应用中展示了算法的实用性。

    Mar, 2014

  • 风险敏感的强化学习:在遗憾中实现近乎最优的风险-样本平衡

    本文研究了未知转移核情况下的风险敏感强化学习问题，提出了两种模型无关的算法，Risk-Sensitive Value Iteration (RSVI) 和 Risk-Sensitive Q-learning (RSQ)，证明了它们的近似最优性，并在样本效率和风险敏感之间达成了权衡（利用类指数效用量化了这种权衡），对风险敏感的强化学习做了第一次回报分析，证明该算法的准最优性。

    Jun, 2020

  • 非平稳风险敏感强化学习: 近似最优动态遗憾、自适应检测和分离设计

    研究使用熵风险度量在非平稳有限马尔可夫决策过程中采用风险敏感强化学习，提出了两种基于重启的算法以及自适应检测不稳定性的元算法，并证明了算法的动态后悔下界。该研究为文献中的非平稳风险敏感强化学习提供了首个非渐近理论分析。

    Nov, 2022

  • 针对指数代价风险敏感 MDP 的修改策略迭代算法

    本文针对指数成本的风险敏感MDP问题，首次提供了MPI在有限状态和动作空间中收敛的证明，其收敛证明与已有的折扣和风险中性平均费用问题不同，也提供了风险敏感MDP的近似MPI证明。

    Feb, 2023

  • 可证明高效的迭代CVaR强化学习与函数逼近

    使用线性和一般函数逼近，对风险敏感的强化学习（RL）进行了研究，提出了名为ICVaR-RL的新的风险敏感RL公式，为每个决策步骤提供了保证安全性的原则方法，并提出了ICVaR-L和ICVaR-G两个高效算法，以及对CVaR算子的高效逼近，适应CVaR的特征的新的岭回归，以及精炼的椭球潜力引理。

    Jul, 2023

  • 风险敏感马尔可夫决策过程与普遍效用函数下的学习

    在实践中，决策者经常面临着不同的风险偏好和不确定性的情况，传统的风险中性强化学习框架无法很好地捕捉到这些情况。本文提出了一种利用泛化的效用函数来解决风险敏感的强化学习问题的方法，并设计了可实现的近似算法来求解该问题。

    Nov, 2023

  • 通过重要性采样在自然策略梯度中重新使用历史轨迹：收敛性和收敛速率

    本文研究了一种重用历史轨迹的自然策略梯度方法变体，并证明了所提梯度估计器的偏差在渐近上是可以忽略的，算法收敛且重用过去的轨迹有助于提高收敛速度。我们进一步将所提估计器应用于流行的策略优化算法，如信任区域策略优化，并在经典基准测试上验证了我们的理论结果。

    Mar, 2024

  • 通过将风险敏感强化学习优化等效确定性实现标准强化学习

    我们研究了具有优化的等效保证风险（OCE risk）的风险敏感强化学习（Risk-Sensitive Reinforcement Learning），并提出了两种基于标准强化学习的通用元算法：一种基于乐观算法，另一种基于策略优化。

    Mar, 2024

  • 证明收敛性的风险敏感分布式强化学习的策略梯度方法

    该研究论文介绍了一种用于风险敏感分布式强化学习的策略梯度方法，以及一种基于分布式策略评估和轨迹梯度估计的分类分布式策略梯度算法（CDPG）。通过在随机悬崖环境上进行实验，展示了在分布式强化学习中考虑风险敏感性的益处。

    May, 2024

  • 悲观遇见风险：风险敏感的离线强化学习

    我们研究了风险敏感强化学习，该领域因其在必须管理不确定性和最小化潜在不利结果的情况下提高决策能力而至关重要。尤其是，我们的工作重点是将熵风险度量应用于强化学习问题。我们提出了两种能够证明样本利用效率的算法，分别是基于风险敏感的悲观值迭代算法和利用方差信息和参考优势分解的悲观算法，这有效地改善了对空间维度d和风险敏感因子的依赖。据我们所知，我们获得了第一批能够有证据表明有效的风险敏感离线强化学习算法。

    Jul, 2024