针对风险感知强化学习的分布式模型等价性

Jul, 2023

针对风险感知强化学习的分布式模型等价性

Distributional Model Equivalence for Risk-Sensitive Reinforcement Learning

Tyler Kastner, Murat A. Erdogdu, Amir-massoud Farahmand

TL;DR本文研究的问题是如何学习用于风险敏感强化学习的模型。我们提出了通过分布强化学习引入两个新的模型等价概念，可以使我们规划任何风险度量的最优解，但我们还提出了一种实用可行的风险度量模型并展示了我们的框架可以用来增强任何模型无关的风险敏感算法。

Abstract

We consider the problem of learning models for risk-sensitive reinforcement learning. We theoretically demonstrate that proper value equivalence, a method of learning models which can be used to plan optimally in the risk-neutral setting, is not sufficient to plan optimally in the risk

risk-sensitive reinforcement learning value equivalence distributional reinforcement learning risk measures model-free algorithm

发现论文，激发创造

面向分布式鲁棒安全强化学习的风险规避模型不确定性

我们提出了一个采用深度强化学习的框架，通过相干畸变风险度量考虑模型不确定性的风险规避观点，并表明我们的公式等价于具有性能和安全保障的分布鲁棒安全强化学习问题，并展示了我们框架在 Real-World 强化学习套件中各种具有安全约束的连续控制任务上产生了稳健安全的表现。

Jan, 2023

基于模型的强化学习中的价值等价原则

本文探讨强化学习中的值等价性原则，提出基于值等价性原则的模型学习问题，证明了随着政策和函数集的扩大，价值等价模型的类别将收缩到描述环境的完美模型上，并通过实验验证了该价值等价模型学习方法的优越性及其在最大似然估计等传统模型学习算法中的实用意义，在强化学习领域常常用于模型学习的价值迭代网络、预测器等模型反映了该价值等价性原则的应用。

Nov, 2020

预期和分布式强化学习的比较分析

通过对 tabular、线性和非线性逼近设置的分析，研究了分布式 RL 相对于标准 RL 的改进原因。在控制设置中，以经验分析比较了分布式 RL 和标准 RL 的方法，找出了分布式 RL 方法的改进来源。

Jan, 2019

风险厌恶强化学习的分布式方法

我们提出了一种分布式方法，用于在风险规避马尔可夫决策过程中学习最优策略，该方法使用嵌套 Kusuoka 类型条件风险映射构造的动态风险度量来评估策略表现，利用了对应动态规划原理中嵌入的某些结构，使用深度神经网络逼近值函数的条件分布，避免了探索阶段的维度灾难，并使用随机选择的一系列模型参数探索了该方法的性能。

Feb, 2023

证明收敛性的风险敏感分布式强化学习的策略梯度方法

该研究论文介绍了一种用于风险敏感分布式强化学习的策略梯度方法，以及一种基于分布式策略评估和轨迹梯度估计的分类分布式策略梯度算法（CDPG）。通过在随机悬崖环境上进行实验，展示了在分布式强化学习中考虑风险敏感性的益处。

May, 2024

风险敏感强化学习是否得到适当解决？

本论文研究风险敏感强化学习，在已有 RSRL 方法存在优化偏差的理论下，提出新的 Trajectory Q-Learning 算法，能够有效地实现不同风险度量的风险敏感策略。

Jul, 2023

可证明的风险敏感分布式强化学习与通用函数逼近

该研究介绍了一种风险敏感的分布式强化学习 (RS-DisRL) 框架，包括静态 Lipschitz 风险度量、泛函逼近等，用于分析评估 RSRL 策略的估计函数对其有效性和样本复杂度的影响，并设计了两种创新的元算法：面向基于模型的函数逼近的 RS-DisRL-M 和面向通用价值函数逼近的 RS-DisRL-V。通过利用最小二乘回归 (LSR) 和最大似然估计 (MLE) 的新颖估计技术，结合增强马尔可夫决策过程 (MDP) 中的分布式 RL，推导出了具有静态 Lipschitz 风险度量的 RSRL 的遗憾上界的首个 O (√K) 依赖关系，对这个领域中的统计有效算法做出了创新性贡献。

Feb, 2024

分布式强化学习中的风险视角探析

通过风险规划方法提高 DMIX 算法的性能，在多代理环境下进行了全面的实验，此方法可用于探索 Distributional Reinforcement Learning 中风险水平和乐观行为。

Jun, 2022

生命周期强化学习中的可扩展和鲁棒计划的最小价值等价部分模型

本文提出了新的模型，称为 “最小价值等效部分模型”，它只对环境的相关方面进行建模。通过实验证明，基于此类模型的规划方法具有可伸缩性和鲁棒性。

Jan, 2023

认知风险敏感强化学习

本文介绍了一种基于偏爱函数的风险感知的增强学习框架，在不确定的环境下可以通过调节风险偏好参数实现风险规避，风险中性或风险承受。同时，作者使用动态规划和策略梯度算法来衡量和控制认知风险，并将风险规避策略与认知风险环境下的最优风险中性策略进行了比较分析。

Jun, 2019