ICLRJan, 2021

具有非稳态马尔可夫策略的延迟环境下的决策行为

PDF
TL;DR该研究提出了一种针对 MDP 的决策学习与规划框架，其中决策制定者执行的动作有 $m$ 步的延迟，研究表明使用非恒定的马尔科夫策略，可以在非常大的延迟下实现最大化奖励，并介绍了一种无需状态增强即可解决延迟执行任务的 Q-learning 风格模型。
markov decision processdelayed executionnon-stationary policiesq-learningperformance
发现论文，激发创造
  • 基于模型的延迟感知连续控制强化学习

    该研究提出了延迟感知的马尔可夫决策过程的正式定义，并证明它可以通过使用马尔可夫奖励过程中的增强状态转化为标准 MDP。我们开发了一个延迟感知的模型驱动强化学习框架，可以将多步延迟纳入学习到的系统模型中，而无需进行学习。 与 Gym 和 MuJoCo 平台进行的实验表明，与非策略模型无关的强化学习方法相比，所提出的延迟感知模型驱动算法在训练和各种延迟时间系统之间具有更高的效率和可传递性。

    May, 2020

  • 基于树搜索的随机执行延迟下的策略优化

    该研究介绍了随机延迟执行马尔可夫决策过程的新形式，通过在马尔可夫决策类中进行策略搜索，提高了性能，并使用 DEZ 算法优化了马尔可夫决策过程的采样效率。

    Apr, 2024

  • 非马可夫环境中的政策分歧

    本文提出了一个基于 transformer 的策略扩散方案，从状态 - 动作对历史数据学习不同的策略，以解决在非马尔可夫环境中由于长时历史数据和奖励的关联性导致的策略相似、过拟合等问题。实验结果表明，该策略扩散方案在多个学习环境下获得了比最近的学习基线更为稳健的性能。

    Feb, 2023

  • 从只包含状态序列中学习非 Markov 决策制定

    本文研究了一种在非 Markov 决策过程下进行深度生成建模的模型，在无法观察到动作的情况下进行模仿学习和决策制定。

    Jun, 2023

  • 强化学习中的延迟

    研究关于延迟对动态系统、马尔可夫决策过程、强化学习和实证结果的影响。

    Sep, 2023

  • 当并非所有操作都可用时的强化学习

    本文介绍了基于马尔可夫决策过程（MDP）中存在确定性可选动作集合的局限性，提出了一种新的基于随机动作集合的马尔可夫决策过程（SAS-MDP）模型，并针对旧 RL 算法在 SAS-MDP 中可能存在的发散问题，提出了包含独特的方差缩减技术的新的策略梯度算法以及收敛条件，并通过真实用例启发的任务实验表明了该方法的实用性。

    Jun, 2019

  • 具有延迟反馈的对抗性马尔可夫决策过程学习

    本文研究了具有未知转换和拥有无限制延迟反馈的分集式马尔可夫决策过程的在线学习，表现出基于策略优化的新算法，在完全信息反馈下实现了接近最优的高概率后悔情况，同时也是第一个考虑具有延迟反馈的 MDP 的后悔最小化设置。

    Dec, 2020

  • 实践中学习：非稳态马尔可夫决策过程中的自适应决策

    在处理非平稳环境的序贯决策问题中，我们提出了一种自适应蒙特卡洛树搜索算法，通过学习环境的更新动态来改进决策过程，减少过分悲观的行为并提高决策速度。

    Jan, 2024

  • 非平稳 MDPs 中的未来优化

    本文介绍了一种名为 Prognosticator 的策略梯度算法，这种算法通过对政策性能的预测来主动搜索一个好的未来策略，并且通过将过去数据进行非均匀重新赋权，使该算法比其他两种在线适应技术更具鲁棒性。

    May, 2020

  • 强化学习用于带有动作约束的任务规定

    本文运用离散事件系统监控控制理论的概念，提出一种方法用于在有限状态的马尔可夫决策过程中，学习最优控制策略，并利用奖励机器的发展来处理状态限制。通过给定一个例子来阐明其应用性并在此设置中展示了仿真结果。

    Jan, 2022