隐私工程化价值分解网络用于合作多智体强化学习

Sep, 2023

隐私工程化价值分解网络用于合作多智体强化学习

Privacy-Engineered Value Decomposition Networks for Cooperative Multi-Agent Reinforcement Learning

Parham Gohari, Matthew Hale, Ufuk Topcu

TL;DR在合作多智能体强化学习（Co-MARL）中，我们提出了一种隐私工程化的价值分解网络（PE-VDN）算法来建模多智能体间的协作且可确保各智能体的环境交互数据的机密性，通过整合分布式计算方案、隐私保护的多方计算协议和差分隐私技术，PE-VDN 在保证有效的隐私保护水平的同时实现了高达 Vanilla VDN 80% 的胜率。

Abstract

In cooperative multi-agent reinforcement learning (Co-MARL), a team of agents must jointly optimize the team's long-term rewards to learn a designated task. Optimizing rewards as a team often requires inter-agent communication and data sharing, leading to potential privacy implications

cooperative multi-agent reinforcement learning privacy-engineering value decomposition networks data privacy multi-agent coordination

发现论文，激发创造

协作多智体学习的价值分解网络

利用价值分解网络架构解决合作多智能体强化学习中的观测部分性、虚假奖励和 “懒惰智能体” 问题，并在与共享权重、角色信息和信息通道相结合的情况下，在部分可观测的多智能体领域取得优越结果。

Jun, 2017

多智能体价值分解的对比身份感知学习

通过对代理商的属性进行对比性学习，从而突破多代理多样性限制，增强价值分解网络的可区分性，提高合作能力

Nov, 2022

合作多智能体强化学习中常见实践的重新审视

围绕合作多智能体强化学习，实现了依照价值分解及参数共用两大设计原则，其中心的 Q 函数通过局部化的 Q 网络在代理间共享参数。然而，我们证明在某些环境中，比如高度多模式的奖励环境下，价值分解以及参数共享会引起问题并导致不良结果。相反，个体策略的策略梯度方法在这些情况下可以收敛到最优解，并部分支持最近在许多 MARL 测试床上表现良好的 PG 方法。得出实验结果后，我们提出实用建议，并在简化的矩阵和网格世界游戏以及 StarCraft 多代理挑战和谷歌研究足球等各种领域进行了实证验证。希望我们的研究能够为开发更普遍和更强大的 MARL 算法的社区带来益处。

Jun, 2022

用于深度多智能体强化学习的 Q 值路径分解

本论文提出一种名为 Q-value Path Decomposition（QPD）的方法，该方法利用集成渐变归因技术对深度多智能体强化学习中的全局 Q 值进行分解，以便为代理分配信用，解决了多智能体信用分配的关键挑战，该方法在 StarCraft II 微观管理任务中优于现有协作 MARL 算法。

Feb, 2020

针对协作式多智能体强化学习的可扩展价值分解探索算法

本文提出了一种可扩展的价值分解探索方法（SVDE），包括可扩展的训练机制、内在奖励设计和探索性经验回放，以加速样本生成并改善探索问题。实验结果显示，在 StarCraft II 微观管理游戏中，该方法在几乎所有地图上实现了最佳性能。

Mar, 2023

多智体价值分解中的冗余挑战

通过使用层次相关传播，我们将联合价值函数的学习与本地奖励信号的生成分开，提出了一个新的合作多智能体增强学习算法：相关分解网络。我们发现，尽管 VDN 和 Qmix 的性能会随着冗余智能体数目的增加而降低，但 RDN 则不受影响。

Mar, 2023

DPMAC：针对合作多智能体强化学习的差分隐私通信

提出了一种差分隐私的多智能体通信 (DPMAC) 算法用于多智能体强化学习中，该算法通过为每个智能体配备具有严格 (ε, δ)- 差分隐私保证的本地消息发送器来保护个体智能体的敏感信息，并在合作性多智能体强化学习中证明了纳什均衡 (Nash equilibrium) 的存在，从而表明该问题是可以在博弈理论层面上学习的。通过大量实验证明了 DPMAC 在隐私保护场景中相对于基准方法的明显优势。

Aug, 2023

隐私保护的供应链多智能体强化学习

本文针对供应链中的多智能体强化学习（MARL）涉及的隐私问题进行了研究，在供应链组织建模为各个智能体的情况下，提出了一个安全的多方计算（MPC）框架的隐私保护机制来解决隐私保护的问题。通过在 MADDPG 算法上使用 SecFloat 实现了一个安全的 MPC 框架，并且进行了实验证明其在供应链领域能够显著降低浪费并提高平均收入。

Dec, 2023

自适应网格细化的多智能体强化学习

本文介绍了一种 AMR 的全新游戏式拓展，使用深度多智能体强化学习算法 VDGN，解决了 AMR 的几个核心挑战，实现了错误和成本度量的全局最优解。

Nov, 2022

去中心化网络化深度多智能体强化学习的价值传播

本研究提出了一种名为 value propagation 的基于 softmax 时间一致性和分布式优化的 MARL 算法，实现了非线性函数逼近、非 asymptotic 收敛率、离线策略转移和控制的收敛保证。

Jan, 2019