具有神经感知机制的部分可观测随机博弈

Oct, 2023

具有神经感知机制的部分可观测随机博弈

Partially Observable Stochastic Games with Neural Perception Mechanisms

Rui Yan, Gabriel Santos, Gethin Norman, David Parker, Marta Kwiatkowska

TL;DR提出了神经符号部分可观测随机博弈（NS-POSGs）模型，针对部分可观测的环境及基于连续数据的数据驱动方法，引入了感知机制，提出了基于粒子置信度的一侧 NS-HSVI 方法，用于近似计算一侧 NS-POSGs 的值，并在实验中证明了这一方法对于具有多面体形式的神经网络的实际适用性。

Abstract

stochastic games are a well established model for multi-agent sequential decision making under uncertainty. In reality, though, agents have only partial observability of their environment, which makes the problem computationally challenging, even in the single-agent setting of partiall

stochastic games neuro-symbolic partially-observable stochastic games partial observability data-driven approaches neural networks

发现论文，激发创造

零和神经符号并发随机博弈策略综合（扩展版）

提出了一种新的建模形式，称为神经符号并发随机博弈（NS-CSG），旨在解决一些形式化的问题，如证明 NS-CSG 在 Borel 可测性和分段常数限制下的存在价值，并开发了新的算法来解决非可数状态空间的 NS-CSG 博弈中的最优策略选择问题以及证明了其收敛性。该模型着重于融合神经网络和传统符号技术，实现知觉机制得到探测信号通过解决了动态车辆停车的案例研究来论证其优势。

Feb, 2022

基于点的价值迭代算法用于神经符号 POMDPs

本文介绍了神经符号人工智能在不确定性的情况下进行序列决策的一种新方法，即神经符号部分可观察马尔可夫决策过程 (NS-POMDPs)；提出了基于多面体的新型连续状态置信度分段线性凸表示 (P-PWLC)，并且扩展将 Bellman 备份应用于此表示，设计了两种值迭代算法，即经典的值迭代算法和基于点的近似方法。通过两个车辆停车和飞行器避碰案例研究，展示了该方法的实际应用。

Jun, 2023

基于 HSVI 的部分观测随机博弈的在线极小化策略与神经感知机制

我们提出了一种变种的连续状态部分可观测的随机博弈模型，其中包含神经感知机制和不对称信息结构。我们首次提出了一种高效的在线计算 ε- 极小极大策略配置的方法，每个阶段仅需解决一个线性规划问题，而不是复杂的对手反事实值估计。对于部分知情的智能体，我们提出了一种持续解决方法，使用由启发式搜索值迭代（HSVl）预先计算的下界代替对手反事实值。对于完全知情的智能体，我们提出了一种推断信念策略，该智能体基于 HSVl 的（离线）上界维护对部分知情智能体信念的推断，从而保证到初始信念上两智能体已知的游戏价值的 ε- 距离。

Apr, 2024

重新思考部分可观测多智体决策的形式模型

介绍了一种基于事实观测随机博弈（FOSG）建模的解决方案，该解决方案的优势在于可以轻松分解问题，且与博弈树等其他建模方式相关联，这为多智能体决策制定提供了启示。

Jun, 2019

不精确概率遇上部分可观测性：强健 POMDPs 的游戏语义

部分可观察马尔可夫决策过程（POMDPs）依赖于概率分布的精确性，而鲁棒 POMDPs 通过定义不精确的概率（称为不确定性集）来缓解这一问题。本研究通过展示：1）不同的不确定性集假设会影响最优策略和价值；2）RPOMDPs 具有部分可观察随机博弈（POSG）语义；以及 3）相同的 RPOMDP 在不同的假设下会导致语义上不同的 POSG，从而产生不同的策略和价值，从而扩展了 RPOMDP 的理论理解。这些新颖的 RPOMDPs 语义为广泛研究的 POSG 模型提供了实际结果，具体而言，我们展示了纳什均衡的存在性。最后，我们使用这些语义对现有的 RPOMDP 文献进行分类，澄清了这些现有研究在哪些不确定性假设下进行。

May, 2024

带有均场交互的部分可观测随机博弈中的近似纳什均衡

本文研究含有无穷个代理人的部分可观测的均场动态博弈，使用故意使原本的部分可观测随机控制问题变成一个置信度空间上的完全可观测问题的技术，建立了此类游戏模型的纳什均衡存在性，并证明了当代理人足够多时，采用均场均衡策略会形成近似纳什均衡。

May, 2017

从部分观测中随机预测多智能体交互

本研究提出了一种基于图形结构的变量循环神经网络 (Graph-VRNN) 的方法，该方法可以从学习的动力学模型中学习整合时间信息，从学习的视觉模型中学习模糊视觉信息，用于多智能体环境下的状态推断和预测，并在两个运动数据集上的实验中表现出优越性。

Feb, 2019

具有网络信息流的一般总和随机博弈

本文研究了基于随机博弈模型的多智能体强化学习中，网络结构化玩家相互作用，混合合作与竞争以及有限的全局信息对于个体决策造成的挑战以及信息可用性对于不同学习范式的影响。并通过实验，探索了不同 MARL 范式的结果，例如集中式学习分散式执行。

May, 2022

用 Pontryagin 神经算子解决参数化广义和微分博弈

通过引入在前向和后向态演化之间的差异上定义的共态损失，该论文提出了一种 Pontryagin 模式神经运算符，用于处理具有参数状态约束的游戏，该方法在安全性能方面优于现有技术，且无需手动监督数据。

Jan, 2024

HSVI 能够解决零和部分可观察随机博弈

通过数学分析并且创新引入 HSV1-like 算法解决动态规划问题，其优于现有的线性规划和迭代方法。

Oct, 2022