研究了通过分布式强化学习方法实现风险敏感强化学习的后悔保证，提出了两种新的 DRL 算法，并通过样本复杂度桥接了 DRL 和 RSRL。同时还改进了现有的下限，并提出了更紧的下限。

Oct, 2022

本文研究了未知转移核情况下的风险敏感强化学习问题，提出了两种模型无关的算法，Risk-Sensitive Value Iteration (RSVI) 和 Risk-Sensitive Q-learning (RSQ)，证明了它们的近似最优性，并在样本效率和风险敏感之间达成了权衡（利用类指数效用量化了这种权衡），对风险敏感的强化学习做了第一次回报分析，证明该算法的准最优性。

Jun, 2020

本研究应用 Lipschitz 动态风险度量，提出了两种模型算法用于有限时间马尔可夫决策过程，建立了遗憾上界和下界，并通过数值实验证实了理论结果。

Jun, 2023

我们研究了在一般和马尔可夫游戏中，多智能体强化学习中的风险敏感问题，其中智能体通过强化学习最大化奖励的熵风险衡量，并且可能具有不同的风险偏好。我们表明，使用现有文献中直接从后悔中获得的波动作为性能指标可能会导致存在偏差的策略，偏好最敏感风险的智能体并忽视其他智能体。为了解决这种直接后悔的不足，我们提出了一种新的后悔定义，称之为风险平衡后悔，并通过下界证明其克服了平衡偏差的问题。此外，我们开发了一种自我博弈算法，用于在风险敏感的马尔可夫游戏中学习纳什均衡、相关均衡和粗糙相关均衡。我们证明了该算法相对于风险平衡后悔在近乎最优的性能保证。

May, 2024

研究使用熵风险度量在非平稳有限马尔可夫决策过程中采用风险敏感强化学习，提出了两种基于重启的算法以及自适应检测不稳定性的元算法，并证明了算法的动态后悔下界。该研究为文献中的非平稳风险敏感强化学习提供了首个非渐近理论分析。

Nov, 2022

在线自适应控制有限时域周期性设置下风险敏感线性二次调节器的回避范围研究及拟合泛化条件的简化最小二乘贪婪算法

Jun, 2024

该研究论文探讨了基于熵正则化的探索性扩散过程形式下的连续时间风险敏感强化学习，包括风险敏感目标函数、马丁格尔观点和二次变化。通过这个特征描述，我们可以通过增加价值过程的实现方差来将非风险敏感 RL 算法应用于风险敏感场景，并证明了该算法在 Merton 投资问题中的收敛性，以及温度参数对学习过程行为的影响。此外，通过模拟实验，展示了风险敏感 RL 在线性二次控制问题中的有限样本性能改善。

Apr, 2024

该论文通过引入后见观察机制，研究了部分可观测环境下风险敏感强化学习的悔恨分析，提出了在部分可观测马尔可夫决策过程框架下优化累积奖励的新方法。通过严格的分析证明了算法在模型降级为风险中性或完全可观测设置时，能够实现多项式悔恨。该研究对强化学习的理论研究具有特殊意义。

Feb, 2024

本文中，我们考虑了强化学习中的探索 / 利用问题，提出了不确定性 Bellman 方程 (UBE) 来扩展策略的潜在探索利益，并证明了该方程的唯一不动点产生的方差上限是由任何策略引起的 Q 值的后验分布，相较于传统的基于计数的奖励方法，它控制了方差，将 UBE 探索策略替换为 ε-greedy 可提高在 Atari 游戏中 DQN 性能的表现。

Sep, 2017

本文中，我们利用一种新的 Bellman 算子和相应的固定点，称为‘知识价值’，将期望未来回报和认知不确定性压缩成一个单一的值，从而实现了一种风险追求效用函数，并通过 Boltzmann 策略生成贝叶斯风险边界。

Jul, 2018