Jan, 2024

实践中学习：非稳态马尔可夫决策过程中的自适应决策

PDF
TL;DR在处理非平稳环境的序贯决策问题中，我们提出了一种自适应蒙特卡洛树搜索算法，通过学习环境的更新动态来改进决策过程，减少过分悲观的行为并提高决策速度。
non-stationary environmentsmarkov decision processesadaptive monte carlo tree searchupdated dynamicsdecision-making
发现论文，激发创造
  • 非平稳马尔可夫决策过程：基于模型的加强学习最坏情况方法，扩展版

    本研究旨在解决在非恒定随机环境下的鲁棒零 - shot 规划问题，通过引入定义了特定类别的马尔可夫决策过程来进行计算建模，并提出了一种零 - shot 基于模型的风险敏感树搜索算法。

    Apr, 2019

  • 带策略增强蒙特卡罗树搜索的非静态环境决策

    通过结合强化学习和计划，提出了一种称为 Policy Augmented MCTS（PA-MCTS）的新型混合决策方法，将策略的动作价值估计结合到 MCTS 中，以更好地适应非稳态环境下的决策制定。经测试，PA-MCTS 相对于标准 MCTS 和纯强化学习能更快地收敛并做出更好的决策。

    Feb, 2022

  • 在非稳态环境中的决策制定与策略增强搜索

    在非固定环境下，通过结合过时策略的动作价值估计和最新环境模型的在线搜索，我们引入了一种名为 PA-MCTS 的增强蒙特卡洛树搜索方法，该方法解决了时限有限情况下的顺序决策问题，并在与 AlphaZero 和 Deep Q Learning 的对比实验中显示优越性。

    Jan, 2024

  • 针对非稳态 MDPs 的安全策略改进

    为了确保在具有高风险影响的平稳变化的非稳态决策问题上的安全性和高置信度，本文提出了一种方法，该方法通过模型自由强化学习与时间序列分析的综合，将一种称为 Seldonian algorithm 的安全算法扩展。

    Oct, 2020

  • 具有非稳态马尔可夫策略的延迟环境下的决策行为

    该研究提出了一种针对 MDP 的决策学习与规划框架，其中决策制定者执行的动作有 $m$ 步的延迟，研究表明使用非恒定的马尔科夫策略，可以在非常大的延迟下实现最大化奖励，并介绍了一种无需状态增强即可解决延迟执行任务的 Q-learning 风格模型。

    Jan, 2021

  • 基于蒙特卡洛规划的约束马尔可夫决策过程的随机控制

    在随机控制的领域中，尤其是在经济学和工程学中，马尔可夫决策过程（MDPs）能够有效地建模各种随机决策过程，从资产管理到运输优化。本文定义了一个 MDP 框架，SD-MDP，通过解开 MDPs 的转移和奖励动态的因果结构，提供了时间因果图上的不同分区。通过将这个估计器集成到著名的蒙特卡洛规划算法中，如蒙特卡洛树搜索（MCTS），我们还得出了算法的简单遗憾界限。最后，我们通过在基于海上加油的实际经济示例中展示 MCTS 规划算法在 SD-MDP 框架下取得更高预期奖励（更低成本）的政策改进。

    Jun, 2024

  • 可配置马尔可夫决策过程

    本文提出了一种新的框架 Configurable Markov Decision Processes (Conf-MDPs)，以建立环境参数配置与学习代理之间的交互模型，并通过 Safe Policy-Model Iteration (SPMI) 算法，共同自适应优化策略与环境配置，实验结果表明该方法对提高学习策略的性能有益。

    Jun, 2018

  • 从只包含状态序列中学习非 Markov 决策制定

    本文研究了一种在非 Markov 决策过程下进行深度生成建模的模型，在无法观察到动作的情况下进行模仿学习和决策制定。

    Jun, 2023

  • 具有外部时间进程的马尔可夫决策过程

    本文研究在外部时间过程的影响下的马尔可夫决策过程，提出了一个策略迭代算法来解决这个问题，并对其性能进行了理论分析。

    May, 2023

  • 不断变化的难以预测环境中的学习与规划

    在不确定、随机和时变环境中，自主系统的最优决策面临重大挑战。本研究通过将时变 Markov 决策过程（TVMDP）的概念与部分可观测性相结合，提出了时变部分可观测 Markov 决策过程（TV-POMDP）来建模此类环境，并通过模拟和实际硬件验证，证明该框架在随机、不确定和时变领域中具有卓越的性能。

    Dec, 2023