基于谱方法的 POMDP 强化学习实验结果

NIPSMay, 2017

基于谱方法的 POMDP 强化学习实验结果

Experimental results : Reinforcement Learning of POMDPs using Spectral Methods

Kamyar Azizzadenesheli, Alessandro Lazaric, Animashree Anandkumar

TL;DR提出了一种基于谱分解方法的新的强化学习算法，用于部分可观察马尔可夫决策过程（POMDP）。通过谱技术从由固定策略生成的轨迹中学习 POMDP 参数，运行多个历元后，最终通过优化预测的 POMDP 模型返回最佳无记忆策略，并证明了与最优无记忆策略具有相对最优的后悔界和有效的缩放性。

Abstract

We propose a new reinforcement learning algorithm for partially observable Markov decision processes (POMDP) based on spectral decomposition methods. While spectral methods have been previously employed for consi

reinforcement learning partially observable markov decision processes spectral decomposition methods memoryless planning policy regret bound

发现论文，激发创造

使用谱方法强化学习 POMDPs

提出了一种新的强化学习算法用于部分可观察的马尔可夫决策过程 (POMDP)，该算法基于谱分解方法，学习参数通过固定政策生成的轨迹，并通过优化 oracle 返回最优的无记忆规划策略，算法可以有效缩放观测和行动空间的维度。

Feb, 2016

使用谱方法进行丰富观测 MDP 的强化学习

本文研究富观测马尔科夫决策过程（ROMDP），提出了一种谱分解方法用于在有限时间内成功地学习到每个观测状态的隐状态，由此引入了基于寻优算法的强化学习算法 UCRL，且在维度依赖性方面具有较弱的相关性的有限时间遗憾边界。

Nov, 2016

可观测 POMDP 中的学习，无需计算难以处理的预言机

该论文介绍了一种基于近似多项式时间算法的部分可观测马可夫决策过程无预言学习算法，该算法不是基于传统的探索 - 利用原则，而是采用几何拓扑中的重心跨度技术构建策略套接，并且通过对状态分布和观测分布的假设来保证合理性。

Jun, 2022

强化学习的谱分解表示

本文提出了一种名为 SPEDER 的替代谱方法，它从动态中提取状态 - 动作抽象，同时平衡学习过程中的探索与利用，并在在线和离线设置中证明了其样本效率及在多项基准测试中的优越性能。

Aug, 2022

基于深度强化学习的 POMDP 推断和鲁棒解决方案：铁路最优维护应用

本文提出一个结合推断和强化学习的框架，通过深度强化学习对 POMDP 问题进行鲁棒解决。通过 Markov Chain Monte Carlo 抽样来联合推断出所有的转换和观察模型参数，并将参数分布通过域随机化融入到模型不确定性的解决中，解决该方法适用于铁路资产维护规划等实际问题。

Jul, 2023

低秩 POMDP 中可证明高效且具可行性的表示学习

本文研究部分可观测马尔可夫决策过程的表示学习，其中智能体学习将高维原始观察映射到紧凑表示并用于更高效的探索和规划，并提出一种基于最大似然估计和不确定性乐观算法的表示学习算法，从而在计算复杂度上获得高效的采样复杂度。

Jun, 2023

无记忆随机策略优化在无限时域 POMDP 中的几何

本研究考虑了有限状态和动作空间的无穷时部分观察到的马尔可夫决策问题中，根据折扣或平均收益准则找到最佳的无记忆随机策略并描述了优化问题作为可行状态 - 动作频率空间中的线性优化问题并使用了多项式优化的最大化奖励来解决导航问题。

Oct, 2021

POMDP 数据高效模型学习的变分推断

本研究提出 DELIP 作为 POMDP 模型学习的方法，利用摊销结构化变分推理，模型结合最先进的规划器能够在不确定性环境下获得有效的控制策略。

May, 2018

可证明高效的部分可观测动态系统强化学习

通过提出一种新的基于双线性 Actor-Critic 框架的学习算法，该算法可以对部分可观察的动态系统进行部分可观察的强化学习，并且在特定的情形下（如欠完备的可观察性模型）具有较高的性能表现。

Jun, 2022

POMDP 中的策略指导的逻辑规范学习：归纳逻辑编程方法

从 POMDP 执行的痕迹中学习得到高质量的启发式方法，通过转换为逻辑语义并利用数据和时间高效的归纳逻辑编程生成可解释的基于信念的策略规范，以在线方式引导 POMDP 求解器的行动选择过程。使用 Answer Set Programming (ASP) 表达的学习启发式方法展现了性能优于神经网络且与最佳手工设计的任务特定启发式方法相当的特点。

Feb, 2024