Sep, 2011

有非马尔可夫奖励的决策论规划

PDF
TL;DR该研究提出了一个软件平台 NMRDPP（Non-Markovian Reward Decision Process Planner）用于开发和实验决策理论计划的相关方法，其中包括基于现有和新方法的一系列方法，比如基于时间逻辑的非马尔可夫奖励函数的紧凑规范，启发式搜索和结构化方法，并通过 NMRDPP 比较这些方法并确定影响其性能的某些问题特征。
non-markovian rewardsdecision-theoretic planningtemporal logicdynamic programmingstructured methods
发现论文，激发创造
  • 非马尔可夫奖励强化学习

    研究了在具有非马尔可夫奖励的情况下，采用 Q-learning 和 R-max 算法和自动机学习算法相结合的方法用于策略学习并证明其中一些变体在极限状态下收敛到最优策略。

    Dec, 2019

  • 马尔可夫决策过程中的非确定性策略

    本文介绍了非确定性策略的新概念，以允许用户在决策过程中具有更多的灵活性，同时将决策限制为近似最优解。我们提供了两种算法来计算离散领域中的非确定性策略，并在一组合成和真实世界问题上研究了这些方法的输出和运行时间。在与人类被提示使用非确定性政策在 Web 导航任务中表现优异的实验中，我们展示了人类的帮助。

    Jan, 2014

  • 利用强化学习处理非累计目标的决策过程

    本文介绍了非累积马尔可夫决策过程（NCMDPs）与标准马尔可夫决策过程（MDPs）之间的一种映射关系，并展示了在强化学习中的应用，包括经典控制、金融组合优化和离散优化问题。通过我们的方法，相较于依赖标准 MDPs，我们可以改善最终性能和训练时间。

    May, 2024

  • 非平稳马尔可夫决策过程：基于模型的加强学习最坏情况方法，扩展版

    本研究旨在解决在非恒定随机环境下的鲁棒零 - shot 规划问题，通过引入定义了特定类别的马尔可夫决策过程来进行计算建模，并提出了一种零 - shot 基于模型的风险敏感树搜索算法。

    Apr, 2019

  • 非马可夫环境中的政策分歧

    本文提出了一个基于 transformer 的策略扩散方案，从状态 - 动作对历史数据学习不同的策略，以解决在非马尔可夫环境中由于长时历史数据和奖励的关联性导致的策略相似、过拟合等问题。实验结果表明，该策略扩散方案在多个学习环境下获得了比最近的学习基线更为稳健的性能。

    Feb, 2023

  • Omega 正则决策过程

    引入一种新型的 omega-regular 决策过程 (ODPs)，通过将其规约为有限 MDPs 上的字典序优化和学习，实现了对 ODPs 的优化和学习。

    Dec, 2023

  • 非参数通用强化学习

    本文提出了在非 Markovian、非 ergodic 且只部分可观察的环境下进行强化学习的问题。作者建立了贝叶斯强化学习代理的负面结果，并证明 Thompson 采样在随机环境中是渐进最优的。此外，作者构建了一个大但可计算的类，展示了基于 Thompson 采样的代理在这个类中收敛于任意未知可计算多智能体环境中的纳什均衡。

    Nov, 2016

  • 马尔可夫决策过程中的超越平均回报

    马尔可夫决策过程中，奖励的功能有哪些可以精确计算和优化？我们总结了策略评估相关类的特性，给出了规划问题的新解答。同时，我们证明了只有广义平均数能够被精确优化，即使在分布式强化学习的更通用框架下也是如此。这些结果为推进马尔可夫决策过程的理论发展做出了贡献，尤其关注回报的整体特征和风险感知策略。

    Oct, 2023

  • 网络化多智能体马尔可夫决策过程的分布式动态规划

    该论文旨在研究分布式动态规划来解决网络化多智能体马尔可夫决策问题，通过控制理论视角提出了在连续时间领域的分布式动态规划，并证明了其收敛性，该分析可被视为分布式时态差异学习算法的初步常微分方程分析，其收敛性可通过 Borkar-Meyn 定理和单时间尺度方法证明。

    Jul, 2023

  • 从只包含状态序列中学习非 Markov 决策制定

    本文研究了一种在非 Markov 决策过程下进行深度生成建模的模型，在无法观察到动作的情况下进行模仿学习和决策制定。

    Jun, 2023