Jul, 2023

具有状态不确定性的鲁棒多智能体强化学习

PDF
TL;DR在多智能体强化学习中，本研究首次尝试模拟带有状态不确定性的马尔科夫博弈问题，提出鲁棒性的解决方案，并设计了两种算法，RMAQ 和 RMAAC，用于处理高维状态 - 动作空间，在存在状态不确定性下，实验证明这两种算法在多智能体环境中表现出色。
multi-agent reinforcement learningstate uncertaintyrobustnessmarkov gamealgorithm design
发现论文，激发创造
  • 如何解决国家对抗性多智能体强化学习？

    本文提出了一种新的状态对抗性马尔可夫博弈模型，基于最坏情况下预期状态价值最大的状态强化学习策略，尝试解决现有方法在状态不确定性下的一些问题，同时提出了一种新的鲁棒性算法 RMA3C， 并证明了有限状态有限行动空间下稳健代理策略的存在性，实验结果显示出其对于状态扰动的鲁棒性更高。

    Dec, 2022

  • 多智能体强化学习的鲁棒性测试：对关键智能体进行状态扰动

    提出了一种新颖的基于 DE 的关键代理的 Robustness Testing 框架，用于生成关键代理的对抗性状态扰动，是第一个具有不同受害者代理的鲁棒性测试框架，表现出对受害者代理数量和破坏合作策略方面的卓越性能。

    Jun, 2023

  • 多模态环境不确定性下使用课程学习提高多智能体强健性

    该研究是第一个对多模态环境不确定性的多智能体强化学习问题进行广义建模的工作，并提出了基于课程学习技术的多模态不确定性的鲁棒训练方法，通过在合作和竞争的多智能体强化学习环境下的广泛实验结果表明我们的方法达到了最先进的鲁棒性水平。

    Oct, 2023

  • 增强 QMIX 对抗状态攻击的鲁棒性

    研究通过使用 QMIX 算法作为例子，讨论了四种方法来提高单智能体强化学习算法的鲁棒性，并将它们扩展到多智能体情景中，并使用各种攻击来训练模型，以增加多智能体强化学习算法的鲁棒性。

    Jul, 2023

  • 合作多智能体强化学习鲁棒性综合测试

    提出了一种用于 c-MARL 算法的鲁棒性测试框架 MARLSafe，此框架能够全面从三个方面（状态鲁棒性、行动鲁棒性和奖励鲁棒性）进行测试，以及多方面提出了用于 c-MARL 攻击的鲁棒性测试算法。实验证明，许多最新的 c-MARL 算法在所有方面的鲁棒性都较低，因此迫切需要测试和提高 c-MARL 算法的鲁棒性。

    Apr, 2022

  • 合作多智能体强化学习的认证策略平滑化

    提出了基于虚警率控制和基于树搜索的算法用于分析多智能体的鲁棒性。实验证明该方法产生的可靠性界限比现有模型更紧密。

    Dec, 2022

  • 合作多智能体强健性评估：基于模型的方法

    本文提出了一种基于模型的方法来评估协作多智能体强化学习系统对抗攻击的鲁棒性，我们的方法能够更有效地对付对抗攻击，并且在多智能体 muJoCo 基准测试中优于其他基线。我们使用的对抗攻击方法是一个基于模型的攻击方法，可以通过选择受害 - 智能体的策略来增强攻击效果。

    Feb, 2022

  • 基于情景无关表征实现多智能体迁移强化学习

    通过将各种状态空间统一为固定大小的输入，以便在 MAS 中的不同场景中使用一种统一的深度学习策略，我们介绍了一种新的框架，使得多智能体强化学习能够进行迁移学习。在 StarCraft Multi-Agent Challenge（SMAC）环境中，通过从其他场景学习到的机动技能，相比于从头学习的智能体，我们的方法在多智能体学习性能方面取得了显著的提升。此外，通过采用课程式迁移学习（CTL），使我们的深度学习策略逐步获取各个预先设计的同质学习场景中的知识和技能，促进智能体之间和智能体内部的知识传递，从而在更复杂的异质场景中实现高水平的多智能体学习性能。

    Feb, 2024

  • 量子多智能体强化学习与自主移动协作

    基于量子供应链，并结合多智能体强化学习和量子优势，提出了一种能够实现多智能体合作、有效利用参数和快速收敛的量子 MARL 算法，并引入了投影值测量技术来进一步提高可伸缩性。

    Aug, 2023

  • 基于平均回报的网络系统可扩展多智能体强化学习

    本文提出了一种可伸缩的演员 - 评论家（SAC）方法，可以解决具有本地依赖结构的网络多智能体强化学习（MARL）问题，其复杂度与本地邻域的状态 - 动作空间大小相比，而不是整个网络的规模，其效果取决于智能体在图中的距离，通过利用指数衰减性质，可以获得性能接近最优的局部策略。

    Jun, 2020