简化混合策略参数化的 CVaR 优化样本效率改进

Mar, 2024

简化混合策略参数化的 CVaR 优化样本效率改进

A Simple Mixture Policy Parameterization for Improving Sample Efficiency of CVaR Optimization

Yudong Luo, Yangchen Pan, Han Wang, Philip Torr, Pascal Poupart

TL;DR使用混合策略参数化的方法解决了利用策略梯度来优化 CVaR 时的样本效率问题，实证研究表明该方法在各个基准领域中非常有效。

Abstract

reinforcement learning algorithms utilizing policy gradients (PG) to optimize conditional value at risk (CVaR) face significant challenges

reinforcement learning policy gradients conditional value at risk sample inefficiency mixture policy parameterization

发现论文，激发创造

保守乐观：快速学习 CVaR 策略

以 Markov 决策过程为基础，采用面对不确定性的乐观主义原则，使用一种乐观主义的分布 Bellman 算子，将回报分布的概率质量从下尾部移动到上尾部，从而快速学习具有良好 CVaR 的策略。该算法可以在多种模拟环境中更快地找到 CVaR 最优策略。

Nov, 2019

基于参数探索的策略梯度中的高效样本重用

本文提出一种有效的基于参数探索的政策梯度算法，通过结合梯度估计的再利用、重要性采样和优化基准线等三个思想，成功地降低了算法的方差，从而实现计算高效的政策更新。理论分析和实验说明了该方法的实用性。

Jan, 2013

通过采样优化 CVaR

基于条件期望的公式，我们提出了一种新的基于采样的 CVaR 梯度估计器，类似于似然比方法。我们分析了估计器的偏差，并证明了相应随机梯度下降算法的收敛性，使 CVaR 优化可以在新的领域应用。例如，我们考虑一个强化学习应用，为 Tetris 游戏学习风险敏感的控制器。

Apr, 2014

CVaR 约束 MDPs 的政策梯度

本文研究了风险受限随机最短路径问题中的条件风险价值，提出了两种基于随机逼近、小批量、策略梯度和重要性采样的本地风险最优策略算法，并将条件风险价值估计过程纳入算法中进行梯度和方差的估计和降低。

May, 2014

在 MDPs 中进行 CVaR 优化的算法

本文研究在马尔可夫决策过程中的均值 - CVaR 优化问题，并提出了策略梯度和演员评论算法，以在局部风险敏感的最优策略中更新策略参数，解决了一个最优停止问题。

Jun, 2014

多模态轨迹优化的重参数化策略学习

我们研究了在高维连续动作空间中参数化强化学习（RL）策略的挑战。我们的目标是开发一种多模式策略，以克服常用的高斯参数化方法固有的限制。为了实现这一目标，我们提出了一个原则性框架，将连续 RL 策略建模为最优轨迹的生成模型。通过将策略条件化于潜变量，我们导出了一种新颖的变分下界作为优化目标，以促进环境的探索。然后，我们提出了一种实用的基于模型的 RL 方法，称为重新参数化策略梯度（RPG），它利用多模式策略参数化和学习的世界模型来实现强大的探索能力和高效数据利用率。实证结果表明，我们的方法可以帮助 Agent 在具有密集奖励的任务中避免局部最优值，并通过结合面向对象的内在奖励来解决具有挑战性的稀疏奖励环境。我们的方法在各种任务中始终优于以前的方法。项目页面提供了代码和补充材料。

Jul, 2023

随机风险厌恶学习的自适应采样

在机器学习应用中，我们提出了一种风险规避的训练模型的方法，它通过优化在最难的样本上的表现来提高模型的稳定性和可预测性，关键是利用分布式随机优化算法和结构化行列式点过程进行大规模的学习任务。

Oct, 2019

基于模型重参数化的策略梯度方法：理论与实用算法

对长期强化学习问题应用基于模型的 ReParameterization Policy Gradient Methods 时，可能遇到爆炸梯度方差引起的优化困难。通过对模型的收敛性和函数逼近器的平滑性的分析，我们提出了一种谱归一化方法以缓解长模型展开引起的方差问题。实验结果表明，适当的归一化显著降低了基于模型的 ReParameterization Policy Gradient Methods 的梯度方差。与 Likelihood Ratio 梯度估计器等其他梯度估计器相比，我们的方法的性能相当或更好。

Oct, 2023

RMIX：合作强化学习代理的风险敏感策略学习

本研究提出了一种名为 RMIX 的协作多智能体强化学习算法，使用条件风险价值（CVaR）测量个体 Q 值的学习分布，优化 CVaR 策略，并通过分位回归损失将 CVaR 值用作辅助本地奖励更新本地分布，提高了 StarCraft II 任务结果的协调和样本效率。

Feb, 2021

非平稳分布下的风险规避学习

本文研究在线优化中的非稳态环境，以便决策者能够适应变化并提高性能。我们采用最小化风险敏感目标函数的策略，使用条件风险价值 (CVaR) 作为风险度量，并使用零阶优化方法来估计 CVaR 梯度。理论结果表明，我们设计的学习算法在凸和强凸函数上能够以高概率实现子线性动态遗憾。同时，数值实验在停车场动态定价方面展示了所设计算法的有效性。

Apr, 2024