Oct, 2018

贝叶斯策略优化模型不确定性

PDF
TL;DR解决不确定性对于自主系统在现实世界中的可靠适应至关重要。我们提出了一种模型不确定性的连续 Bayes-Adaptive Markov Decision Process（BAMDP）算法，其中代理人维护潜在模型参数的后验分布，并相对于该信念分布最大化其预期长期回报。我们的算法建立在最新的策略优化算法之上，以学习通用策略，以最大化贝叶斯价值函数的探索 - 开发权衡。为了应对从离散化连续潜在参数空间带来的挑战，我们提出了一种新的策略网络体系结构，可将信念分布独立于可观察状态地编码。我们的方法显着优于没有明确考虑信念分布而解决模型不确定性的算法，并且与现有的部分可观测马尔可夫决策过程求解器竞争力相当。
发现论文，激发创造
  • 基于贝叶斯优化的鲁棒模型预测控制在模型参数不确定性下的应用

    提出了一种自适应优化方法，用于调整随机模型预测控制 (MPC) 的超参数，同时基于性能奖励估计转换模型参数的概率分布。用异方差噪声模型开发贝叶斯优化算法来处理超参数和动力学模型参数空间中的噪声变化。试验结果表明我们的方法可以得到更高的累积回报和更稳定的控制器。

    Mar, 2022

  • 计数无限状态空间马尔可夫决策过程的贝叶斯学习最优策略

    该研究提出了一种基于贝叶斯思想和汤普森抽样的算法来解决优化数量可数的马尔可夫决策过程的控制问题，在未知参数和固定先验分布的情况下，能够稳定地获得近似最优解，适用于诸如通信网络和计算系统等不确定动力系统以及一些数量可数的排队模型。

    Jun, 2023

  • 面向序列决策的分布稳健优化

    该研究探讨了在不确定参数的最具对抗性分布下，实现最大期望总回报的分布鲁棒 MDP，通过在模糊集格式中加入不确定性的广义矩和统计距离信息，将泛化动量和统计距离模糊集的现有研究推广到后者类别，进而提出了一种新的描述不确定性空间的模糊集形式。在此模糊集形式下，当满足一些温和的技术条件时，可以通过解决一系列一阶凸优化子问题来构建一份分布鲁棒策略。

    Jan, 2018

  • 宏操作下的不确定性高效规划

    本文介绍了一种前向搜索算法 Posterior Belief Distribution，可以有效计算后验信念分布并规划多个操作步骤，可用于控制大型部分可观察域的机器人直升机目标监测等领域。

    Jan, 2014

  • 强健的马尔可夫决策流程即时学习

    本文介绍了一种鲁棒的任意学习方法，该方法结合了贝叶斯推断模型和计算稳健策略的方法，以不确定性马尔科夫决策过程（uMDPs）为基础，并通过实验验证了该方法的有效性。

    May, 2022

  • 基于 POMDP 的序贯贝叶斯优化方法在无人机环境监测中的应用

    本文提出了一种在部分可观察马尔科夫决策过程 (POMDP) 框架下，针对连续轨迹的贝叶斯优化方法，并通过蒙特卡罗树搜索 (MCTS) 解决了这个问题，该方法在使用 UAV 监测空间现象方面表现优于竞争技术。

    Mar, 2017

  • 有限状态马尔可夫决策过程中的离线贝叶斯不确定性量化与后验值优化

    在这篇文章中，我们解决了以未知动态的有限状态马尔科夫决策过程（MDPs）的离线使用为情景的贝叶斯不确定性的量化并将其合并的挑战。我们的方法提供了一种原则性方法来区分认识不确定性和机缘不确定性，以及一种无需依赖于 MDP 的后验分布的强假设来找到优化贝叶斯后验期望值的策略的新技术。

    Jun, 2024

  • 贝叶斯探索网络

    贝叶斯强化学习在面对不确定性的顺序决策问题中提供了一种原则性和优雅的方法，但其主要挑战是在高维状态转移分布中建模不确定性的计算复杂性。本文提出了一种新颖的无模型方法来解决这个挑战，通过在一维贝尔曼算子中建模不确定性，引入贝叶斯探索网络 (BEN)，通过正态化流来建模贝尔曼算子中的不确定性，并通过变分推断来建模知识性不确定性，实验结果表明，BEN 可以在现有的无模型方法失败的任务中学习到真正的贝叶斯最优策略。

    Aug, 2023

  • 自适应概率信赖约束下的连续高维信念空间规划

    研究了基于信念空间规划的在线决策问题，在信息收集等场景下，介绍了一种自适应的方法来寻求最大可行回报，应用这种方法可以在保证准确率的前提下显著加速在线决策过程，并进行了大量现实模拟来验证此方法的优越性。

    Feb, 2023

  • 双向模型基策略优化

    本文提出了一种双向模型策略优化方法（BMPO），该方法通过构建正向和反向动力学模型来提高模型预测精度，从而实现更高的采样效率和渐进性能。

    Jul, 2020