IJCAIFeb, 2015

多智能体规划中具有乐观影响的本地价值 --- 扩展版

PDF
TL;DR本论文提出了一种影响 - 乐观上界策略，用于解决具有非因式价值函数的解离式部分可观察 MDP 的规模为数十甚至数百个代理的规划问题，并在数字上比较了不同的上界，并证明了启发式解法的优化保证，展示了该方法的多代理规划方面的潜在应用。
multiagent planninguncertaintyheuristic searchdec-pomdpsinfluence-optimistic upper bounds
发现论文，激发创造
  • 部分可观察马尔可夫决策过程的值函数逼近

    本文介绍了部分可观测马尔可夫决策过程 (POMDP) 的近似（启发式）方法，研究其性质和关系，并提供一些新见解。该理论结果在代理导航领域的问题上得到了实验支持。

    Jun, 2011

  • 众多智能体 POMDP 中的分解式在线规划

    在集中式多智能体系统中，使用多智能体部分可观察马尔可夫决策过程（MPOMDPs）进行建模，其中动作和观察空间随着智能体数量呈指数增长，使得单智能体在线规划的价值和信念状态估计变得低效。本研究采用加权粒子滤波和可扩展的信念状态近似方法，同时解决了价值估计和状态估计的挑战，提出了基于稀疏粒子滤波信念树的在线规划算法，该算法在少量智能体的情况下表现出竞争性的性能，并在多智能体的基准测试中胜过现有算法。

    Dec, 2023

  • 多智能体场景下的序列规划框架

    本研究在部分可观察马尔可夫决策过程 (POMDPs) 的基础上，将代理模型纳入到状态空间中，使其扩展到了多智能体的情景下。代理人通过贝叶斯更新来维护对物理环境状态和其他代理模型的信念，并使用基于置信状态的映射来求得最优方案。虽然我们的方法中代理人的模型不可直接被操纵或观察，但我们证明了 POMDPs 的重要特性如收敛率、价值函数的分段线性和凸性等在我们的框架下仍然成立。

    Sep, 2011

  • 部分可观察马尔可夫决策过程的基于点的模型检验方法

    提出了一种在部分可观察的马尔可夫决策过程（POMDP）中实现满足线性时间逻辑公式的策略的方法，该方法使用基于点的价值迭代方法来高效地近似满足所需逻辑公式的最大概率，并计算相应的置信状态策略。证明该方法适用于大型 POMDP 领域，并为最终策略的性能提供了强大的边界。

    Jan, 2020

  • 合作多智能体马尔可夫决策过程中的近似线性规划和分散策略改进

    我们提出了适用于合作多智能体有限和无限时域折扣马尔可夫决策过程的逼近策略迭代算法，其中使用近似线性规划计算近似值函数并实施分散策略改进。

    Nov, 2023

  • 具有随时确定性保证的在线 POMDP 规划

    通过简化解决方案与理论上最优解之间的确定性关系，解决了在计算上昂贵的部分可观测马尔可夫决策过程（POMDPs）困难，为自主代理在不完全信息环境下的规划提供了确定性界限。

    Oct, 2023

  • 利用匿名性进行近似线性规划：扩展到大型多智能体 MDPs（扩展版）

    本研究提出了一种利用匿名影响的方法以提高多方系统的计算效率，尤其是在面对因交互密度增加而出现指数级价值部件大小增加的情况下，可以使之前无法求解的分解 MDP 的近似线性规划问题得到解决。

    Nov, 2015

  • 分散式控制马尔可夫决策过程的复杂性

    探讨了具有部分状态信息的分布式智能体的规划问题，介绍了对 MDP 和 POMDP 模型的推广，研究表明分散控制与集中控制在马尔可夫过程中的根本差异，相关问题不适合使用多项式时间算法来求解，需要使用双指数时间算法求解。

    Jan, 2013

  • 分散式 POMDP 的最优和近似 Q 值函数

    本文研究决策理论规划在单智能体和分布式 POMDP 模型中的应用，提出了一种可行的计算方法并对其算法进行了评估。

    Oct, 2011

  • 带有性能保证的 ρ-POMDP 中的测量简化

    该研究论文介绍了一种有效的决策制定方法，通过对高维观测空间进行划分，并利用这种划分提出了分析边界，以求得期望的信息论奖励，进而在保证性能的同时实现高效规划。该方法在高斯置信度上表现出至少 4 倍的理论性能改善，在模拟和实际实验中也相对其他先进算法显示了大幅沙盘速度提升。

    Sep, 2023