Mar, 2020

FACMAC: 分解多智能体集中策略梯度

PDF
TL;DR提出了 FACMAC，一种新的协同多智能体强化学习方法，包括集中式但分解的评论家和集中式政策梯度估计器等特点，并在多智能体粒子环境，一个新的多智能体 MuJoCo 基准和具有挑战性的 StarCraft II 微管理任务上进行了评估，取得了优于 MADDPG 和其他基线的实证结果。
cooperative multi-agent reinforcement learningfacmaccentralised but factored criticnonmonotonic factorisationcentralised policy gradient estimator
发现论文，激发创造
  • 更集中化的训练，仍分散化的执行：多智能体条件策略分解

    本研究探索了如何在协作多智能体强化学习中融合价值分解和演员 - 评论家，并提出了多智能体条件策略分解 (MACPF) 的方法，以更好地实现部分可观察环境下的学习。同时，通过在不同的合作 MARL 任务中进行实验证明 MACPF 相对于基线的表现更优。

    Sep, 2022

  • 深度多智能体强化学习的单调价值函数分解

    QMIX 是一种新的价值方法，可以在集中端到端的方式下训练分散的策略，通过使用混合网络来估计联合行动价值，并通过混合网络中的非负权重和每个代理价值的单调组合来保证中心化和分散策略之间的一致性，并在 StarCraft 多智能体挑战赛（SMAC）中获得了显著的优越性。

    Mar, 2020

  • 均值演员 - 评论家

    提出了一种新的算法 Mean Actor-Critic（MAC）用于离散动作连续状态强化学习，该算法使用代理的所有动作值的显式表示来估计策略的梯度，证明这种方法相对于传统的 Actor-Critic 方法减少了策略梯度估计中的方差，并在两个控制域和六个 Atari 游戏上展示了与最先进的策略搜索算法的竞争力。

    Sep, 2017

  • 反事实多智能体策略梯度

    通过提出一种新的多智能体演员 - 评论家方法，使用中心化评论家估算 Q 函数和分散化演员来优化智能体的策略，使用反事实基线来处理多智能体学分分配的挑战，该方法能够有效地学习到分散式问题的解决方案，并在星际争霸微操作测试环境中显著提高了绩效表现。

    May, 2017

  • RoMFAC：一种针对状态中对抗扰动的稳健均值场演员 - 评论家强化学习

    该研究提出了一种名为 RoMFAC 的机器学习框架，使用新的训练演员的目标函数和对行动损失的重复规范化策略，以防止对抗性扰动对机器人团队奖励的影响。

    May, 2022

  • QFree：多智能体强化学习的通用价值函数因子分解

    我们提出了一种 MARL 的通用价值函数分解方法 QFree，它基于优势函数开发了 IGM 原则的数学等价条件，并使用更具表达能力的混合网络结构来满足等价分解。通过在 MARL 算法的策略评估过程中将等价条件作为正则化项开发了一种新型损失函数。我们在非单调矩阵博弈场景和 Starcraft Multi-Agent Challenge (SMAC) 等复杂 MARL 基准环境中验证了该方法的有效性，并展示了其在性能方面达到了最新水平。

    Nov, 2023

  • 分解 Soft Actor-Critic 方法用于合作多智体强化学习

    本文提出了一种新的分解式多智能体软演员 - 批评家（mSAC）方法，在 StarCraft II 微观管理合作式多智能体基准测试中获得高效和优异的性能。

    Apr, 2021

  • DFAC 框架：通过分位点混合因式分解价值函数的多智能体分布式 Q 学习

    本研究提出分布式价值函数分解（DFAC）框架，将分布式 RL 和价值函数分解方法相结合以解决多智能体强化学习环境中不确定性和随机性问题，实验证明 DFAC 可以在含随机回报的博弈任务上优于期望价值函数分解方法。

    Feb, 2021

  • 多智能体强化学习中带有反事实预测的助攻价值因子分解算法

    本篇论文提出了 PAC 框架，其中包含基于 Assistive 信息和 Counterfactual Predictions 的新颖 counterfactual loss，此框架考虑到局部顺序对表征函数造成的约束并解决了该限制，同时采用基于变分推断的信息编码方法以收集并编码来自基线的反事实预测，并推导出针对每个代理的分解策略，最后在多智能体捕食 - 逃生和一组 StarCraft II 微观管理任务中验证了 PAC 的有效性。

    Jun, 2022

  • 离线多智能体强化学习与耦合值因子分解

    OMAC 是一种新的离线多智能体强化学习算法，采用耦合值分解方案将全局价值函数分解为本地和共享组件，并保持状态值和 Q 值函数之间的信用分配一致性，并在分解的本地状态值函数上执行样本内学习，同时避免由于评估分布外动作而引起的分布移位，基于综合评估离线多智能体 StarCraft II 微观管理任务，我们展示了 OMAC 比最先进的离线多智能体 RL 方法具有更优越的性能。

    Jun, 2023