Oct, 2023

马尔可夫决策过程中的超越平均回报

PDF
TL;DR马尔可夫决策过程中，奖励的功能有哪些可以精确计算和优化？我们总结了策略评估相关类的特性，给出了规划问题的新解答。同时，我们证明了只有广义平均数能够被精确优化，即使在分布式强化学习的更通用框架下也是如此。这些结果为推进马尔可夫决策过程的理论发展做出了贡献，尤其关注回报的整体特征和风险感知策略。
reward functionalsmarkov decision processesdynamic programmingdistributional reinforcement learningrisk-conscious strategies
发现论文，激发创造
  • 关于马尔可夫决策过程的奖励结构

    马尔可夫决策过程在强化学习中起着关键作用，本研究探讨了多种与强化学习相关的 ' 成本 '，研究了策略评估的样本复杂度，并开发了一种具有实例特定误差界限的新估计器；在在线遗憾最小化设置下，通过引入基于奖励的常量和基于潜力的奖励塑形技术，提供了理论上的解释；提出了一种安全强化学习研究方法，建立了重置效率的量化概念；针对具有多个奖励函数的决策过程，开发了一个能够计算出帕累托最优随机策略的规划算法。

    Aug, 2023

  • 风险敏感马尔可夫决策过程与普遍效用函数下的学习

    在实践中，决策者经常面临着不同的风险偏好和不确定性的情况，传统的风险中性强化学习框架无法很好地捕捉到这些情况。本文提出了一种利用泛化的效用函数来解决风险敏感的强化学习问题的方法，并设计了可实现的近似算法来求解该问题。

    Nov, 2023

  • 马尔可夫决策过程中的均值 - 方差优化

    本文研究了含有累积回报的均值和方差的性能度量下的有限时域马尔科夫决策过程 (Markov decision processes)，并证明了对于某些情况下，计算在方差约束下使均值回报最大的策略的复杂度是 NP 难问题，并提供了伪多项式精确和逼近算法。

    Apr, 2011

  • 折扣强化学习中的采样与估计故事

    本文围绕折扣强化学习中下降估算最常见的问题，提出了关于估算误差与马尔科夫过程和折扣因子的混合特性的极小极大下界，然后对一组显著的估算器和相应的采样程序进行了统计分析，并表明直接从马尔科夫过程折扣核中进行抽样估计平均值，相对于传统估算器具有更优异的统计特性。

    Apr, 2023

  • 多维马尔可夫奖励的表达能力

    我们研究了不确定性下的序贯决策中马尔可夫奖励的表达能力，通过将马尔可夫决策过程 (MDPs) 中的奖励函数视为代理行为的特征化手段，研究了是否存在一种标量或多维度马尔可夫奖励函数，使得这个集合中的策略比其他策略更具吸引力。我们的主要结果给出了这样的奖励函数存在的必要和充分条件，同时也证明了对于任意非退化的确定性策略集合，都存在一个多维度的马尔可夫奖励函数来描述它。

    Jul, 2023

  • 利用强化学习处理非累计目标的决策过程

    本文介绍了非累积马尔可夫决策过程（NCMDPs）与标准马尔可夫决策过程（MDPs）之间的一种映射关系，并展示了在强化学习中的应用，包括经典控制、金融组合优化和离散优化问题。通过我们的方法，相较于依赖标准 MDPs，我们可以改善最终性能和训练时间。

    May, 2024

  • 马尔科夫决策过程中的离线风险评估

    本研究探讨了在强化学习中应用基于模型的方法改进 off-policy risk 的估计，构建了第一个适用于 MDPs 的双重稳健估计器，提高了估计精度并实现了 Cramer-Rao 方差下界。

    Sep, 2022

  • 鲁棒平均奖励马尔科夫决策过程

    本篇论文研究鲁棒平均回报 MDP 问题，旨在找到一种策略，使其在不确定性的 MDP 集合中的最坏平均回报最优化。作者探讨了利用折扣 MDP 实现这个问题，证明了当折扣因子趋近于 1 时，鲁棒折扣价值函数收敛于鲁棒平均回报，并设计了鲁棒动态规划方法。同时，也考虑了直接处理鲁棒平均回报 MDP 问题的情况，并导出了其鲁棒 Bellman 方程，设计了一种鲁棒相对价值迭代算法来求解其策略。

    Jan, 2023

  • 强化学习中折扣因子的再思考：决策论方法

    本篇论文通过引入可变的折扣因子，建立起广泛适用的序列决策模型，并构建了统一的强化学习、逆强化学习和基于偏好的强化学习模型，这一模型囊括了传统模型的所有情况，同时展现出更高的泛化能力。

    Feb, 2019

  • 风险厌恶强化学习的分布式方法

    我们提出了一种分布式方法，用于在风险规避马尔可夫决策过程中学习最优策略，该方法使用嵌套 Kusuoka 类型条件风险映射构造的动态风险度量来评估策略表现，利用了对应动态规划原理中嵌入的某些结构，使用深度神经网络逼近值函数的条件分布，避免了探索阶段的维度灾难，并使用随机选择的一系列模型参数探索了该方法的性能。

    Feb, 2023