Feb, 2024

混合 Q- 函数：用于连续动作领域的合作 MARL 中推进基于价值的方法

PDF
TL;DR本文提出了一种新的多智能体价值算法，混合 Q - 函数（MQF），通过同时评估多种动作，改善了多智能体连续领域中基于价值的方法，促进了智能体之间的合作，并在六个合作多智能体场景中实证发现 MQF 通过快速动作评估和增加样本效率优于四个变种的深度确定性策略梯度算法。
multi-agent learningvalue-based algorithmscontinuous action domainspolicy-based algorithmsq-functionals
发现论文，激发创造
  • QR-MIX: 合作多智能体强化学习中的分布式价值函数分解

    提出了 QR-MIX 模型，通过引入分位数回归来建模联合状态行动值分布，结合 QMIX 和隐式分位数网络，提高了随机性和单调性的容忍度，优于 QMIX。

    Sep, 2020

  • QFree：多智能体强化学习的通用价值函数因子分解

    我们提出了一种 MARL 的通用价值函数分解方法 QFree，它基于优势函数开发了 IGM 原则的数学等价条件，并使用更具表达能力的混合网络结构来满足等价分解。通过在 MARL 算法的策略评估过程中将等价条件作为正则化项开发了一种新型损失函数。我们在非单调矩阵博弈场景和 Starcraft Multi-Agent Challenge (SMAC) 等复杂 MARL 基准环境中验证了该方法的有效性，并展示了其在性能方面达到了最新水平。

    Nov, 2023

  • 深度多智能体强化学习的单调价值函数分解

    QMIX 是一种新的价值方法，可以在集中端到端的方式下训练分散的策略，通过使用混合网络来估计联合行动价值，并通过混合网络中的非负权重和每个代理价值的单调组合来保证中心化和分散策略之间的一致性，并在 StarCraft 多智能体挑战赛（SMAC）中获得了显著的优越性。

    Mar, 2020

  • 基于加权 QMIX 算法的深度多智能体强化学习中的单调价值函数分解扩展

    该研究提出 QMIX 算法的限制防止了其表示值函数，引入加权方案来恢复表示并提高性能

    Jun, 2020

  • DFAC 框架：通过分位点混合因式分解价值函数的多智能体分布式 Q 学习

    本研究提出分布式价值函数分解（DFAC）框架，将分布式 RL 和价值函数分解方法相结合以解决多智能体强化学习环境中不确定性和随机性问题，实验证明 DFAC 可以在含随机回报的博弈任务上优于期望价值函数分解方法。

    Feb, 2021

  • QVMix 和 QVMix-Max：将深度质量 - 值算法扩展到合作多智能体强化学习

    本文介绍了四种新算法：IQV，IQV-Max，QVMix 和 QVMix-Max，用于解决协作环境下发生的多智能体强化学习（MARL）问题。作者比较了这些算法和现有的 MARL 技术，并表明 QVMix 在测试环境中表现最佳，其优于其他算法的原因在于其 $Q$ 函数的过高估计偏见相对较低。

    Dec, 2020

  • 多智能体深度网络下的多样化 Q - 向量强化学习

    本论文扩展了之前的研究，提出了一种能够使用 Max、Nash 和 Maximin 策略学习各种 Q 向量的深度 Q 网络（DQN）算法，并在双机械臂合作举起锅的环境中展示了这种方法的有效性。

    Jun, 2024

  • 通过 Q 学习解决连续控制问题

    本文提出了一种将单智能体控制转化为多智能体协作学习的方法 —— 将动作离散化并结合价值分解，从而将 Q-learning 方法应用于高维连续动作空间的情况，能够在学习来自特征或像素的信息的情况下与最先进的连续动作优化技术相匹敌，并在多种连续控制任务中表现出强大的性能。

    Oct, 2022

  • 量子多智能体强化学习与自主移动协作

    基于量子供应链，并结合多智能体强化学习和量子优势，提出了一种能够实现多智能体合作、有效利用参数和快速收敛的量子 MARL 算法，并引入了投影值测量技术来进一步提高可伸缩性。

    Aug, 2023

  • QMIX: 深度多智能体强化学习的单调价值函数分解

    QMIX 是一种基于价值的方法，可以在中央化端到端方式下训练去中心化策略，其在 StarCraft II 微管理任务中表现良好并优于现有的基于价值的多智能体强化学习方法。

    Mar, 2018