部分可观测强化学习的分块顺序模型学习

AAAIDec, 2021

部分可观测强化学习的分块顺序模型学习

Blockwise Sequential Model Learning for Partially Observable Reinforcement Learning

Giseung Park, Sungho Choi, Youngchul Sung

TL;DR本文提出了一种新的序列模型学习体系结构，旨在解决部分可观测的马可夫决策问题。该模型依靠自注意力实现分块序列模型，能够在部分可观测的环境下进行详细的序列学习，而不需要对模型学习中的输入数据进行复杂的块重构。同时，该模型通过使用自正规化重要抽样构建附加的学习网络，并在各种部分可观测的环境中显著优于先前的方法。

Abstract

This paper proposes a new sequential model learning architecture to solve partially observable markov decision problems. Rather than compressing sequential information at every timestep as in conventional recurre

sequential model learning markov decision problems recurrent neural network self-attention importance sampling

发现论文，激发创造

部分可观察马尔可夫决策过程中的动态深度强化学习算法

通过将动作序列纳入来解决部分可观察马尔可夫决策过程，本研究提出了几种结构和方法来扩展最新的深度强化学习算法与 LSTM 网络，结果显示这些算法提升了控制器对不同类型外部干扰的鲁棒性。

Jul, 2023

用于规划的矢量量化模型

使用离散自编码器来处理动作在随机环境中引起的多种可能性，再结合随机版 Monte Carlo 树搜索算法规划代理的动作和代表环境反应的离散潜变量，明显优于 MuZero 在处理随机国际象棋和 DeepMind Lab 等部分观测模型的 RL 问题中的表现。

Jun, 2021

深度自回归模型的块并行解码

该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。

Nov, 2018

乐观极大似然估计 —— 用于部分可观测序列决策的通用基于模型的算法

此研究介绍了一个简单高效的学习算法 OMLE，它结合了探索优化和极大似然估计，可在多项式数量的样本中学习当今已知的大多数可处理的强化学习问题，包括 POMDP 和 SAIL 条件下的普通顺序决策问题，并提供了一种奖励免费的近似动态模型学习方法。

Sep, 2022

具有短期记忆的可证明强化学习

本文研究如何学习部分可观察的马尔科夫决策过程。通过构造一种特殊的子类 POMDP，它的隐状态可以通过历史的近期记录来解码。我们使用新颖的瞬时匹配方法，并建立了一组在表格和丰富观察设置下，学习这类问题的近优策略的样本复杂性的上下界，并证明了短期记忆对于这些环境的强化学习已经足够。

Feb, 2022

可验证的表示与高效规划用于部分可观察强化学习

本研究旨在解决强化学习中部分可观察马尔可夫决策过程带来的性能下降问题，并通过对表示视图的利用提出了一种可行的强化学习算法，可在部分观测输入下实现比现有算法更高的性能，推动可靠强化学习在实际应用中的应用。

Nov, 2023

可证明高效的部分可观测动态系统强化学习

通过提出一种新的基于双线性 Actor-Critic 框架的学习算法，该算法可以对部分可观察的动态系统进行部分可观察的强化学习，并且在特定的情形下（如欠完备的可观察性模型）具有较高的性能表现。

Jun, 2022

离线强化学习问题的序列建模方法

本文介绍了如何使用序列建模来解决强化学习问题，使用 Transformer 架构来建模轨迹上的分布，并改造了波束搜索作为规划算法，在长时间序列预测、模仿学习、目标条件下的强化学习和离线强化学习等方面展示了该方法的灵活性和高效性，同时将该方法与基于模型的算法相结合，使其在稀疏奖励、长时间序列任务中表现为最先进的计划器。

Jun, 2021

可变循环模型求解部分可观测控制任务

本文提出了一种在部分可观察环境下应用深度强化学习解决机器人控制任务的算法，该算法包含了两个部分，即可变循环模型和强化学习控制器；实验证明，该算法比其他方法在数据效率和策略学习上表现更好。

Dec, 2019

部分可观察的强化学习何时不可怕？

该论文介绍了应用于部分可观测的情况下的强化学习模型，探讨了在一些特殊情况下该模型的使用，提出了一种通过乐观估计与极大似然估计相结合的简单算法，能够保证在这些特殊情况下有多项式样本复杂度可行的方法。

Apr, 2022