Jan, 2024

一种自主决策系统的分层控制框架：HMDP 和 MPC 的整合

PDF
TL;DR本文提出了一种全面的分层控制框架，用于机器人和自主系统中的自主决策。通过综合建模、设计问题的制定、控制设计和稳定性分析，提出了这种具有挑战性问题的综合设计过程和框架，并处理了连续系统动力学和离散马尔科夫决策过程在高层决策中的复杂相互作用。通过使用模型预测控制概念，提出了一个决策者设计方案，通过精心设计参与方案的关键要素，证明了所提出的自主决策方案的递归可行性和稳定性的保证，并将该框架应用于智能车辆的自主换道系统的开发。
hierarchical control frameworkautonomous decision-makinghybrid markov decision processmodel predictive controlautonomous lane changing system
发现论文，激发创造
  • 基于策略的抽象化方法以实现鲁棒机器人控制

    本文提出了一种可扩展的控制算法，使部署的移动机器人系统能够在充分考虑其概率信念的情况下做出高层次决策。我们的方法基于分层控制器和分层 MDPs 的相关文献，已成功在匹兹堡附近的一家养老院部署。据我们所知，这项工作是将 POMDPs 应用于高级机器人控制问题的独特实例。

    Oct, 2012

  • 通过深度强化学习管理具有大状态和动作空间的工程系统

    本文提出了一种综合的深度强化学习框架 - DCMAC，使用深度函数近似和分解表示系统动作来提供高维空间中大型多组件系统的高效生命周期策略，相对于基于时间、条件和周期策略的优化基线，DCMAC 表现更好。

    Nov, 2018

  • 分散式控制马尔可夫决策过程的复杂性

    探讨了具有部分状态信息的分布式智能体的规划问题，介绍了对 MDP 和 POMDP 模型的推广，研究表明分散控制与集中控制在马尔可夫过程中的根本差异，相关问题不适合使用多项式时间算法来求解，需要使用双指数时间算法求解。

    Jan, 2013

  • 机器人中的部分可观察马尔可夫决策过程：综述

    这篇综述文章研究多种机器人领域中使用部分可观察马尔可夫决策过程（POMDP）的数学模型和算法，分析它们的特点，并提供适用的决策任务的关键任务特性。

    Sep, 2022

  • 层次概率模型的抽象 - 细化方法

    本文介绍了一种通过层次化结构和抽象 - 细化循环来加速分析马尔科夫决策过程，针对重复部分具有局部影响的概率程序，将类似的子程序抽象成参数化模板，在需要时对其进行详细分析，从而缓解著名的状态空间爆炸问题。

    Jun, 2022

  • 使用引导分支的高效自动驾驶不确定性感知决策

    该研究提出了一种高效的不确定性感知决策框架（EUDM），利用专家知识指导行动和愿望空间的分支，以控制计算复杂度，实时生成复杂驾驶环境下的长期横向和纵向行为，同时还提供代码以适应基准测试。

    Mar, 2020

  • 基于隐含参数马尔可夫决策过程的强健高效迁移学习

    我们引入了一个新的 HiP-MDP 隐藏参数马尔可夫决策过程的处理方式，它能够通过低维度的潜在嵌入来建模相关任务的家族。我们采用贝叶斯神经网络来替换原模型中的高斯过程，从而使推理更具可扩展性，我们正确地模拟了潜在参数和状态空间中的联合不确定性，并扩大了 HiP-MDP 的应用范围，可以应用于维度更高且具有更复杂动态的问题。

    Jun, 2017

  • 可配置马尔可夫决策过程

    本文提出了一种新的框架 Configurable Markov Decision Processes (Conf-MDPs)，以建立环境参数配置与学习代理之间的交互模型，并通过 Safe Policy-Model Iteration (SPMI) 算法，共同自适应优化策略与环境配置，实验结果表明该方法对提高学习策略的性能有益。

    Jun, 2018

  • 在线学习方法的模型预测控制

    本文提出了一种基于动态镜像下降 (DMD) 的模型预测控制 (MPC) 算法 (DMD-MPC)，该算法结合了在线学习算法的思想，是一种通用的 MPC 算法，并在实验中展示了其适用性。

    Feb, 2019

  • 多目标马尔可夫决策过程中的内在动机分层策略学习

    通过采用内在动机驱动的强化学习方法来演化出一套通用的技能集，以解决多目标马尔科夫决策过程，从而克服了在非稳态环境中无法泛化的问题。实验证明，该方法在动态机器人环境中明显优于现有的多目标强化学习方法。

    Aug, 2023