风险敏感马尔可夫决策过程与普遍效用函数下的学习

Nov, 2023

风险敏感马尔可夫决策过程与普遍效用函数下的学习

Risk-sensitive Markov Decision Process and Learning under General Utility Functions

Zhengqi Wu, Renyuan Xu

TL;DR在实践中，决策者经常面临着不同的风险偏好和不确定性的情况，传统的风险中性强化学习框架无法很好地捕捉到这些情况。本文提出了一种利用泛化的效用函数来解决风险敏感的强化学习问题的方法，并设计了可实现的近似算法来求解该问题。

Abstract

reinforcement learning (RL) has gained substantial attention across diverse application domains and theoretical investigations. Existing literature on RL theory largely focuses on risk-neutral settings where the decision-maker learns to maximize the expected cumulative reward. However,

reinforcement learning risk-sensitive utility function markov decision process value iteration algorithm

发现论文，激发创造

泛用效用的强化学习变分策略梯度方法

该研究通过引入泛函的方法，提出了一种新的策略梯度算法，用于解决马尔可夫决策问题中带通用上限效用函数的策略优化问题，并证明了其全局收敛性和收敛速度。

Jul, 2020

可证明的风险敏感分布式强化学习与通用函数逼近

该研究介绍了一种风险敏感的分布式强化学习 (RS-DisRL) 框架，包括静态 Lipschitz 风险度量、泛函逼近等，用于分析评估 RSRL 策略的估计函数对其有效性和样本复杂度的影响，并设计了两种创新的元算法：面向基于模型的函数逼近的 RS-DisRL-M 和面向通用价值函数逼近的 RS-DisRL-V。通过利用最小二乘回归 (LSR) 和最大似然估计 (MLE) 的新颖估计技术，结合增强马尔可夫决策过程 (MDP) 中的分布式 RL，推导出了具有静态 Lipschitz 风险度量的 RSRL 的遗憾上界的首个 O (√K) 依赖关系，对这个领域中的统计有效算法做出了创新性贡献。

Feb, 2024

风险敏感的强化学习

该研究提出了一种风险敏感的强化学习框架，将效用函数应用于时间差分误差，实现非线性转换，将其应用于马尔可夫决策过程的转移概率和获得的奖励，并将其用于解释人类决策行为的特征，通过证明该模型的收敛性和在一个顺序投资任务中的实际应用，进一步验证了风险敏感强化学习框架的有效性。

Nov, 2013

马尔科夫决策过程中约束风险的强化学习策略

本研究提出了一种基于 MDPs 的风险受限规划算法，它将 UCT-like 搜索与通过线性规划实现的风险受限动作选择相结合，以最大化在低于所需阈值的情况下遇到故障状态的预期贴现总和回报。

Feb, 2020

认知风险敏感强化学习

本文介绍了一种基于偏爱函数的风险感知的增强学习框架，在不确定的环境下可以通过调节风险偏好参数实现风险规避，风险中性或风险承受。同时，作者使用动态规划和策略梯度算法来衡量和控制认知风险，并将风险规避策略与认知风险环境下的最优风险中性策略进行了比较分析。

Jun, 2019

风险敏感强化学习应用于约束条件控制

本文研究带错误状态的马尔可夫决策过程，并提出了基于风险和价值函数的启发式强化学习算法用于优化控制任务，实验结果表明该算法可以在模型假设被放宽的情况下成功应用于控制任务。

Sep, 2011

稳健风险感知强化学习

利用强化学习方法和基于排名的预期效用来优化金融问题中的风险和回报，通过开发明确的策略梯度公式，分析了鲁棒的投资组合配置，基准优化和统计套利等问题。

Aug, 2021

在约束条件下的马尔可夫决策过程学习

本文研究如何在满足成本平均值约束条件下，通过设计基于模型的强化学习算法，从而最大化累积奖励，同时确保每个成本值的平均值被绑定在特定的上界之内。此外，我们提出了一种衡量强化学习算法表现的方法，即使用 M+1 维的后悔向量来衡量奖励和不同成本的差异，并证明了 UCRL-CMDP 算法的后悔向量的期望值的上界为 O（T ^ {2/3}）.

Feb, 2020

强化学习中折扣因子的再思考：决策论方法

本篇论文通过引入可变的折扣因子，建立起广泛适用的序列决策模型，并构建了统一的强化学习、逆强化学习和基于偏好的强化学习模型，这一模型囊括了传统模型的所有情况，同时展现出更高的泛化能力。

Feb, 2019

关于马尔可夫决策过程的奖励结构

马尔可夫决策过程在强化学习中起着关键作用，本研究探讨了多种与强化学习相关的 ' 成本 '，研究了策略评估的样本复杂度，并开发了一种具有实例特定误差界限的新估计器；在在线遗憾最小化设置下，通过引入基于奖励的常量和基于潜力的奖励塑形技术，提供了理论上的解释；提出了一种安全强化学习研究方法，建立了重置效率的量化概念；针对具有多个奖励函数的决策过程，开发了一个能够计算出帕累托最优随机策略的规划算法。

Aug, 2023