具有非稳态马尔可夫策略的延迟环境下的决策行为

Jan, 2021

具有非稳态马尔可夫策略的延迟环境下的决策行为

Acting in Delayed Environments with Non-Stationary Markov Policies

Esther Derman, Gal Dalal, Shie Mannor

TL;DR该研究提出了一种针对MDP的决策学习与规划框架，其中决策制定者执行的动作有$m$步的延迟，研究表明使用非恒定的马尔科夫策略，可以在非常大的延迟下实现最大化奖励，并介绍了一种无需状态增强即可解决延迟执行任务的Q-learning风格模型。

Abstract

The standard markov decision process (MDP) formulation hinges on the assumption that an action is executed immediately after it was chosen. However, assuming it is often unrealistic and can lead to catastrophic failures in applications such as robotic manipulation, cloud computing, and

发现论文，激发创造

马尔可夫决策过程中的非确定性策略

本文介绍了非确定性策略的新概念，以允许用户在决策过程中具有更多的灵活性，同时将决策限制为近似最优解。我们提供了两种算法来计算离散领域中的非确定性策略，并在一组合成和真实世界问题上研究了这些方法的输出和运行时间。在与人类被提示使用非确定性政策在Web导航任务中表现优异的实验中，我们展示了人类的帮助。

Jan, 2014

非平稳马尔可夫决策过程：基于模型的加强学习最坏情况方法，扩展版

本研究旨在解决在非恒定随机环境下的鲁棒零-shot规划问题，通过引入定义了特定类别的马尔可夫决策过程来进行计算建模，并提出了一种零-shot基于模型的风险敏感树搜索算法。

Apr, 2019

基于模型的延迟感知连续控制强化学习

该研究提出了延迟感知的马尔可夫决策过程的正式定义，并证明它可以通过使用马尔可夫奖励过程中的增强状态转化为标准MDP。我们开发了一个延迟感知的模型驱动强化学习框架，可以将多步延迟纳入学习到的系统模型中，而无需进行学习。与Gym和MuJoCo平台进行的实验表明，与非策略模型无关的强化学习方法相比，所提出的延迟感知模型驱动算法在训练和各种延迟时间系统之间具有更高的效率和可传递性。

May, 2020

非平稳MDPs中的未来优化

本文介绍了一种名为Prognosticator的策略梯度算法，这种算法通过对政策性能的预测来主动搜索一个好的未来策略，并且通过将过去数据进行非均匀重新赋权，使该算法比其他两种在线适应技术更具鲁棒性。

May, 2020

平均奖励马尔科夫决策过程的学习和规划

本研究提出了一种基于平均报酬MDPs的学习和规划算法，其中包括第一种无参考状态的普遍证明收敛的无模型控制算法、第一个证明收敛的无政策自由预测算法，以及第一个离线学习算法，其收敛于实际值函数而不是值函数增加一个偏移量。在使用时间差错错误而不是常规错误更新平均报酬估计时，我们的所有算法都基于此。

Jun, 2020

强化学习用于带有动作约束的任务规定

本文运用离散事件系统监控控制理论的概念，提出一种方法用于在有限状态的马尔可夫决策过程中，学习最优控制策略，并利用奖励机器的发展来处理状态限制。通过给定一个例子来阐明其应用性并在此设置中展示了仿真结果。

Jan, 2022

非马尔科夫决策过程中PAC强化学习的马尔科夫抽象

本文提出了一种结合自动机学习和经典强化学习的算法，用于学习非马尔可夫决策流程中的马尔科夫抽象，并且证明该算法具有PAC保证。