该研究旨在设计面向具有动态一致风险目标和约束的马尔可夫决策过程的策略。作者提出了一个基于优化的方法来综合最小化受约束的风险 - 厌恶问题的可行马尔可夫策略，并通过数值实验验证了该方法的有效性。

Dec, 2020

本文研究在马尔可夫决策过程中的均值 - CVaR 优化问题，并提出了策略梯度和演员评论算法，以在局部风险敏感的最优策略中更新策略参数，解决了一个最优停止问题。

Jun, 2014

本文提出了一种在 MDP 框架下考虑风险和建模误差的决策方法，采用风险敏感条件价值风险 (CVaR) 目标，同时探讨了 CVaR MDP 框架在风险敏感和鲁棒决策制定中的应用，其理论分析和数值实验结果均证明了该方法的实用性和有效性。

Jun, 2015

本文比较两种多期环境下的风险评估框架，并总结了它们的相对优势；介绍了一个量化测度以及两种风险度量之间的接近度，并研究了它们的下确界和上确界。此外，研究了多种算法构建，研究结果对风险度量研究和组合优化有重大意义。

Jun, 2011

本文研究了使用基于敏感性的优化方法来解决具有长期 CVaR 标准的无限期离散时间 MDP 的最优策略问题，利用伪 CVaR 度量导出了 CVaR 的差分公式并推导出了 CVaR 的局部最优条件和全局最优条件的必要性，提出了一种策略迭代算法并进行数值实验以证明主要结论。

Oct, 2022

提出一种新的框架，称为 Risk-Averse and Soft-Robust methods (RASR)，用于联合建模有限和无限时域 rMarkov 决策过程（MDP）中的认识不确定性和 aleatory 不确定性与刻画风险。在 RASR 中，当风险是使用 EVaR 或熵风险定义时，可以使用时间依赖的风险级别使用动态程序形式化地计算最优风险规避策略。我们还发现特定的 RASR 目标简化为具有后验平均转移概率的风险规避 RL。实验结果表明，我们新的算法通过 EVaR 和其他标准风险度量一致地缓解不确定性。

Sep, 2022

本文研究在线优化中的非稳态环境，以便决策者能够适应变化并提高性能。我们采用最小化风险敏感目标函数的策略，使用条件风险价值 (CVaR) 作为风险度量，并使用零阶优化方法来估计 CVaR 梯度。理论结果表明，我们设计的学习算法在凸和强凸函数上能够以高概率实现子线性动态遗憾。同时，数值实验在停车场动态定价方面展示了所设计算法的有效性。

Apr, 2024

在部分可观察域中，面临不确定性的风险规避决策是人工智能领域的一个基本问题，对于可靠的自主代理至关重要。本研究使用部分可观察的马尔可夫决策过程（POMDPs）建模并采用回报的条件风险价值（CVaR）作为值函数。这项工作开发了一个简化框架，以加快值函数的评估速度，并提供性能保证。我们考虑了一种计算代价更低的信念 - MDP 转移模型作为简化方法，该模型可以对应于更廉价的观察或转移模型。我们的贡献包括一般的 CVaR 界限，通过假设两个累积分布之间的界限，可以使用一个随机变量 Y 来限制随机变量 X 的 CVaR。然后，我们推导出 POMDP 设置下 CVaR 值函数的界限，并展示了如何使用计算代价更低的信念 - MDP 转移模型来限制值函数，而无需实时访问计算代价高昂的模型。接着，我们提供了对估计边界的理论性能保证。我们的结果适用于对信念 - MDP 转移模型的一般简化，并可以同时简化观察和状态转移模型。

Jun, 2024

本研究针对马尔科夫决策过程中随机最短路径问题提出了一种基于条件风险价值优化的风险感知控制方法，并通过线性规划和价值迭代两种算法实现了精确而可靠的解决方案。实验结果表明该方法在多个中等规模的问题实例上是可行的。

Mar, 2022

该研究拓展了风险敏感的强化学习算法的范围，利用凸优化和演员 - 评论家（actor-critic）模型处理动态风险测量，提出了一种统一的方法来应对风险敏感的策略梯度方法。

Feb, 2015