AAAIDec, 2023

模型不确定性下的稳健主动测量

PDF
TL;DR在序列决策中，部分可观测性和不确定性是常见问题，对于使用马尔可夫决策过程（MDPs）等形式模型造成阻碍。然而，在实践中，代理可以使用昂贵的传感器来测量环境并通过收集信息来解决部分可观测性问题。此外，不精确的转移函数可以捕捉模型不确定性。我们将这些概念结合起来，扩展 MDPs 为鲁棒主动测量 MDPs (RAM-MDPs)。我们提出了一种用于高效解决 RAM-MDPs 的主动测量启发式算法，并展示了模型不确定性可以让代理方采取更少的测量，这是违反直觉的。同时，我们提出了一种方法来抵消这种行为，只产生有限的额外成本。我们通过与几种基准方法进行实证比较，并展示了其卓越的可伸缩性和性能。
发现论文，激发创造
  • 执行 - 衡量策略：在活跃衡量中的部分可观测环境中强化学习

    本文研究马尔可夫决策过程中的行动 - 条件无噪声可观察 MDS（ACNO-MPDs），提出了基于 “先控制再观察” 启发式的强化学习算法，并在部分可观察环境中展示了其卓越性能。

    Mar, 2023

  • 强健的马尔可夫决策流程即时学习

    本文介绍了一种鲁棒的任意学习方法，该方法结合了贝叶斯推断模型和计算稳健策略的方法，以不确定性马尔科夫决策过程（uMDPs）为基础，并通过实验验证了该方法的有效性。

    May, 2022

  • 带有噪声状态观测的马尔可夫决策过程

    通过建模不确定性来解决马尔可夫决策过程（MDPs）中一类特定的嘈杂状态观测问题，提出了两种新的算法方法，一种是用于有限时间窗口内有效噪声估计的二阶重复动作方法，另一种是一组贝叶斯算法，通过模拟实验证实了这些方法在不同场景下尤其在具有不同稳定分布的环境中的有效性。

    Dec, 2023

  • 鲁棒马尔可夫决策过程：超越矩形假设

    本论文利用因子模型处理 Markov 决策过程中的参数不确定性问题，提出了一种鲁棒性方法来有效计算最优策略，并在相关领域进行了实验研究。

    Nov, 2018

  • 马尔可夫决策过程中的主动模型估计

    本文研究了基于 Markov 决策过程 (MDP) 环境中的精确建模的高效探索问题，提出一种以加权熵为基础的算法用于解决贪心算法在探索初阶段表现较差的问题，并在简单的具有异构噪音的两个问题上进行了验证。

    Mar, 2020

  • 通过强化学习扩展鲁棒的马尔可夫决策过程

    本文研究了面临参数不确定性的大规模马尔可夫决策过程（MDP），并基于鲁棒 MDP 范式，应用增强学习方法解决了规模巨大且无法使用动态规划技术的实际问题解决方法。该方法在特定技术条件下被证明可以成功，通过对期权定价问题的模拟的证明其有效性，是首次尝试扩大鲁棒 MDPs 范式的尝试。

    Jun, 2013

  • 不确定性决策：超越概率

    本文综述了决策制定中的不确定性状态，并关注走在经典解释之外的不确定性，尤其是区分了可变性不确定性和认知不确定性。作者提供了多种解决方案，包括离散和连续模型，从正式验证、控制抽象到强化学习，以优秀解法应对认知不确定性，并列举和讨论了处理丰富类型不确定性时出现的重要挑战。

    Mar, 2023

  • 不断变化的难以预测环境中的学习与规划

    在不确定、随机和时变环境中，自主系统的最优决策面临重大挑战。本研究通过将时变 Markov 决策过程（TVMDP）的概念与部分可观测性相结合，提出了时变部分可观测 Markov 决策过程（TV-POMDP）来建模此类环境，并通过模拟和实际硬件验证，证明该框架在随机、不确定和时变领域中具有卓越的性能。

    Dec, 2023

  • 马尔可夫决策过程中的主动探索

    本研究针对在 Markov 决策过程中的主动探索问题进行了研究，提出了一种新的学习算法，用以解决 MDPs 中的主动探索问题并证明了其相对于 MAB 来说更为复杂，同时也给出了一个用于缓解策略收敛速度缓慢的启发式过程。

    Feb, 2019

  • 机器人中的部分可观察马尔可夫决策过程：综述

    这篇综述文章研究多种机器人领域中使用部分可观察马尔可夫决策过程（POMDP）的数学模型和算法，分析它们的特点，并提供适用的决策任务的关键任务特性。

    Sep, 2022