Mar, 2017

无模型蒙特卡罗法中引入外生状态

PDF
TL;DR本文提出了一种针对高维 MDPs 的新方法 MFMCi，通过剔除一些状态和动作变量来实现状态转移的搭配，以此来代替昂贵的模拟器生成轨迹，该方法在具有挑战性的野火管理 MDP 上进行了评估。
markov decision processesmonte carlo simulationstate transitionspolicy analysiswildfire management
发现论文，激发创造
  • 串联马尔可夫链推理的策略梯度

    该论文提出了一种新的强化学习决策框架，将智能体的行为建模为参数化推理马尔科夫链，利用可行的策略梯度估计进行优化，通过模拟推理马尔科夫链以接近其稳态分布来完成动作选择，并且可以通过适应性地缩短决策困难度来加速推理，该算法在诸如 Mujoco 和 DeepMind Control 等任务中实现了最先进的性能。

    Oct, 2022

  • 通过即时状态条件的动作抽象实现高效蒙特卡罗树搜索

    基于组合结构的行为抽象可以提高蒙特卡洛树搜索在具有复杂动作空间问题上的效率。本研究通过学习一个潜在的动态模型和辅助网络，构建了一种状态条件行为抽象方法，用于减少搜索空间并提高采样效率，并在实验中展示了其比传统 MuZero 方法更好的采样效率。

    Jun, 2024

  • 无模型均场强化学习：均场 MDP 和均场 Q-Learning

    通过视角转换，我们研究了具有共同噪声的无限时长打折的均场控制问题，并提出了一种适用于均值场设置的 RL 方法。

    Oct, 2019

  • 多智能体场景下的序列规划框架

    本研究在部分可观察马尔可夫决策过程 (POMDPs) 的基础上，将代理模型纳入到状态空间中，使其扩展到了多智能体的情景下。代理人通过贝叶斯更新来维护对物理环境状态和其他代理模型的信念，并使用基于置信状态的映射来求得最优方案。虽然我们的方法中代理人的模型不可直接被操纵或观察，但我们证明了 POMDPs 的重要特性如收敛率、价值函数的分段线性和凸性等在我们的框架下仍然成立。

    Sep, 2011

  • 间歇可观察的马尔科夫决策过程

    本文研究了在不稳定状态信息下的 MDP，提出了一种基于树组织结构和值迭代算法的有限状态近似方法来寻找最优策略。

    Feb, 2023

  • MoCoDA: 基于模型的反事实数据增强

    本文提出一种利用局部分解结构的动力学模型、试验数据增强等方法的强化学习算法，该算法在离线学习方面比标准算法可显著提升其在超出分布范围的机器人操作任务中的性能表现。

    Oct, 2022

  • 一个在线代理能够高效学习均场博弈

    使用在线样本，无需先验知识的状态 - 动作空间、奖励函数或转移动态，通过值函数 (Q) 更新策略，同时评估均场状态 (M)，以有效逼近固定点迭代 (FPI) 的两种变种的新型在线单智能体无模型学习方案的功效通过数值实验得到确认。

    May, 2024

  • 马尔可夫决策过程中的反事实影响

    我们的工作解决了马尔可夫决策过程中反事实推断的基本问题，介绍了基于对比反事实和干预分布的影响比较的算法构建反事实模型，并推导出非最优政策以适应观察路径时的影响约束。

    Feb, 2024

  • 高维状态空间中具有有限时间保证的马尔可夫决策过程的结构估计

    本文提出了一种单步估计算法，用于处理高维状态空间，同时又不会降低奖励估计精度的问题。该算法通过随机梯度最大化似然函数，使每次策略改进都能够进行。研究表明，该算法可以达到平稳状态，同时在 MuJoCo 机器人控制问题和其转移设置中，相比其他逆向强化学习算法和模仿学习基准，该算法表现更好。

    Oct, 2022

  • POMDP 有限状态控制器的安全策略改进

    本文研究了用于局部可观察马尔可夫决策问题 (POMDP) 的安全策略改进 (SPI) 方法，该方法假定可以访问历史数据和行为策略。作者提出基于有限状态控制器和有限记忆计算的离线策略改进方法，并在多项基准实验中证明了其可行性和有效性。

    Jan, 2023