用多步反向动力学方法通过外界干扰证明的强化学习

ICLROct, 2021

用多步反向动力学方法通过外界干扰证明的强化学习

Provable RL with Exogenous Distractors via Multistep Inverse Dynamics

Yonathan Efroni, Dipendra Misra, Akshay Krishnamurthy, Alekh Agarwal, John Langford

TL;DR该论文研究了如何在处理高维观测数据时，通过引入先前的表示学习方法从原始观测数据中提取内生潜在状态信息，并在存在外生噪声时进行最优规划。提出了 EX-BMDP 模型，开展了潜在状态发现研究，并介绍了基于预测路径消除算法（PPE）的算法，对于近似确定性的内生状态动态具有很好的采样和计算效率。实验表明该方法具有良好的效果。

Abstract

Many real-world applications of reinforcement learning (RL) require the agent to deal with high-dimensional observations such as those generated from a megapixel camera. Prior work has addressed such problems with representation learning, through which the agent can provably extract en

reinforcement learning representation learning latent state discovery exogenous noise sources predictive path elimination

发现论文，激发创造

带外部状态和奖励的强化学习

本文提出了一种将 MDP 分解为外源 Markov 奖励过程和内源 Markov 决策过程的方法，以优化内源的奖励，以解决外源状态变量和奖励对 MDP 强化学习造成的干扰，并给出了在线发现状态空间中混合外源和内源状态的算法，改进了强化学习的效率。

Mar, 2023

基于目标的冗余观测环境推断

通过观察其余状态以有效学习核心状态之间的状态转移规则，针对部分可观测马尔科夫决策过程 (POMDP) 提出一种面向目标的强化学习方法。在逐步添加新的核心状态到转换图中的同时，本模型仅包含核心状态，它监督一小部分核心状态以了解动态环境并获得最佳行为策略，这使其具有良好的可解释性。此外，该方法适用于在线学习，可以抑制内存消耗并提高学习速度。

May, 2023

对有限记忆 POMDP 的表示学习进行多步逆模型的泛化

学习代理中心状态表示的关键挑战在于在强化学习算法扩展和高效应用于下游任务时，仅对相关信息进行编码而舍弃无关信息。该研究考虑在更具挑战性的高维非马尔可夫环境中，从过去观察序列中译码状态的发现代理中心状态问题，并通过适应广义逆模型来解决此任务。研究结果包括确定性动力学环境下的渐近理论以及对替代直观算法的反例。我们通过对所提出的不同替代方案的代理中心状态发现能力进行了彻底的实证研究，其中对过去行动的分析尤为引人注目：我们表明，当正确使用时，过去行动可以使算法更加成功，而错误使用时则会导致严重的失败。

Apr, 2024

多步反演不是你所需要的全部

在实际控制环境中，观测空间通常是高维度且受时间相关噪声的影响。本文研究了 AC-State 方法，通过学习一个编码器将观测空间映射到与控制相关的更简单的变量空间，并提出了 ACDF 算法用于解决 AC-State 方法在学习代理可控状态的潜在表示时存在的问题。通过数值模拟和神经网络编码器在高维环境中的应用，我们证明了 ACDF 的有效性。

Mar, 2024

未知环境下的概率逆向强化学习

我们考虑了在未知的随机马尔可夫环境或游戏中，从代理人的示范学习的问题。我们旨在估计代理人的偏好，以构建同一任务的改进策略。为了做到这一点，我们将已知 MDP 中逆强化学习的概率方法扩展到未知动态或对手的情况。我们通过导出演示者策略和效用的两个简化概率模型来实现这一点，为了易于处理，我们使用了最大后验估计而不是完整的贝叶斯推断。在先验分布相同的情况下，这结果是凸优化问题。我们发现所得到的算法与其他了解动态的逆强化学习方法相比具有很高的竞争力。

Aug, 2014

强化学习中发现和消除外生状态变量和奖励

本文提出了两个算法来发现外生变量，并证明了蒙特卡洛策略评估在内生 MDP 上的加速。结果显示这些算法是实用的，并且可以显著提高强化学习的速度。

Jun, 2018

通过潜在状态解码的丰富观测下可证明的高效强化学习

该论文研究了在具有大量从少量潜在状态生成的丰富观察结果的情节 MDPs 中的探索问题。在某些可辨识性假设下，研究人员通过一系列回归和聚类步骤归纳地估计了从观察到潜在状态的映射，并使用它构建了良好的探索策略。

Jan, 2019

基于模型无关表示学习方法的块马尔科夫决策过程高效强化学习

BRIEE 是一种在具有块结构动态的马尔可夫决策过程中有效实施强化学习的算法，它将潜在状态的发现、探索和利用相互交织在一起，可以保证以多项式方式扩展样本复杂度来学习近乎最优的策略，而且不依赖于可能无限观察空间的大小。实验证明，相对于现有的 RL HOMER 算法和其他 RL 算法，BRIEE 更具样本效率。

Jan, 2022

具有对抗性辅助模型的强化学习鲁棒模型

应用鲁棒 MDPs 框架及引入一种新型的学习过渡模型，该研究在模型为基础的环境中通过辅助悲观模型来提高策略的鲁棒性，并在实验中展示了该模型在失真 MDPs 中提高学习策略性能的显著改进。

Jun, 2024

POMDP 的深层变分强化学习

本文提出了一种深度变分强化学习方法，该方法引入了归纳偏置，允许代理学习环境的生成模型并在该模型中执行推断以有效地聚合可用信息。通过在 Mountain Hike 和 flickering Atari 的实验中表明，我们的方法优于先前依赖于循环神经网络对过去进行编码的方法。

Jun, 2018