Sep, 2017

批量强化学习在部分观测下的过拟合和渐进偏差

PDF
TL;DR通过对有限数据情况下的渐近偏差与过拟合的权衡分析，本文探讨了在强化学习中的部分可观测性，通过较小的状态表示减少过拟合的风险，最终通过理论结论及实验结果验证了前述结论。
发现论文，激发创造
  • 可验证的表示与高效规划用于部分可观察强化学习

    本研究旨在解决强化学习中部分可观察马尔可夫决策过程带来的性能下降问题，并通过对表示视图的利用提出了一种可行的强化学习算法，可在部分观测输入下实现比现有算法更高的性能，推动可靠强化学习在实际应用中的应用。

    Nov, 2023

  • 部分可观察的强化学习何时不可怕？

    该论文介绍了应用于部分可观测的情况下的强化学习模型，探讨了在一些特殊情况下该模型的使用，提出了一种通过乐观估计与极大似然估计相结合的简单算法，能够保证在这些特殊情况下有多项式样本复杂度可行的方法。

    Apr, 2022

  • 部分可观测环境中的离线策略评估

    该论文研究了部分可观察环境下的强化学习离线策略评估的问题，针对部分可观察的马尔可夫决策过程（POMDPs）建立了离线策略评估的模型，并在新模型下对 POMDPs 进行了更准确的评估并证明了重要性采样等传统方法的局限性。

    Sep, 2019

  • 递归 Q 学习的近似信息状态收敛分析

    该论文研究了强化学习算法中的一种非马尔可夫过程，提出了一种基于近似信息状态 (AIS) 的改进方法，展示了其比基线更好的表现和与 AIS 表示相关的性能变化。

    Jun, 2023

  • 可证明高效的部分可观测动态系统强化学习

    通过提出一种新的基于双线性 Actor-Critic 框架的学习算法，该算法可以对部分可观察的动态系统进行部分可观察的强化学习，并且在特定的情形下（如欠完备的可观察性模型）具有较高的性能表现。

    Jun, 2022

  • 带 B - 稳定性的部分可观测强化学习：统一的结构条件和尖锐的样本高效算法

    本论文在预测状态表示的一般设置中针对部分可观察的强化学习提出了一种自然而统一的结构条件，即 B 稳定性，并通过乐观极大似然估计、估计至决策和基于模型的乐观后验抽样的三种算法来实现对 B 稳定性预测状态表示的多项式样本学习，并且取得了很好的样本复杂度。

    Sep, 2022

  • 超越乐观：具有部分可观察奖励的探索

    通过提出一种新的探索策略，克服现有方法的局限性，即使奖励不总是可观察到，也能保证收敛到最佳策略。我们还提出了一系列用于在强化学习中进行探索的表格环境（有或没有不可观察的奖励），并展示我们的方法优于现有方法。

    Jun, 2024

  • 强化学习中泛化的困难之处：认知 POMDP 和隐式部分可观测性

    本文研究了强化学习系统在现实世界中部署的中心挑战 —— 泛化，并展示了强化学习问题的时序结构需要新的泛化方法，同时介绍了一种新的部分可观察马尔可夫决策过程（POMDP）解决方案 —— 认知 POMDP，通过简单的基于集成的技术解决了部分可观测性问题，证明了所提出的算法对 Procgen 基准套件的表现相比现有方法有显著提高。

    Jul, 2021

  • 无限时间视角下基于部分观测的最坏情况控制与学习

    本文研究了安全关键的物理系统所需的控制策略，通过建模系统中的不确定性和模型干扰，提出了一种近似控制和学习框架，并对其进行了数学分析和算法设计。

    Mar, 2023

  • 学习部分可观测环境的因果状态表示

    本文提出了一种基于循环神经网络（RNN）的近似因果状态算法，该方法学习从 POMDP 中的历史动作和观察预测未来观察情况的因果状态表示。实验证明，所学习的状态表示可用于有效学习具有丰富观察空间的强化学习问题，并与之前的方法进行比较。

    Jun, 2019