本文提出一种通用且高效的通过强化学习概念来解决梯度估计算法高方差问题的方法，其中包括引入价值函数、基线和评论家等概念，实现了对随机计算图的梯度下降优化。

Jan, 2019

本研究介绍了一个合作游戏理论框架(扩展凸性博弈ECG)，提出了一个局部奖励方法(Shapley Q-value)，并用其作为每个代理的评估函数，提出了一个MARL算法SQDDPG，并在导航，猎物与捕食者和交通路口等环境进行了实验，结果显示其相较于目前现有算法具有更快的收敛速度和公平的分配。

Jul, 2019

本研究通过四个流行的多智能体测试环境，证明了基于 PPO 的多智能体算法表现出令人惊讶的性能，并降低了样本复杂度，显示出它可以成为协同多智能体强化学习中的强基线方法。

Mar, 2021

本文提出了一种名为CoPPO的算法，用于多智能体环境下的多项策略优化，并证明了该算法在优化理论基础上的联合目标后能够实现动态的学分分配，解决了多智能体系统中同时更新智能体策略时高方差的问题，并通过实验证明其在合作矩阵博弈和StarCraft II微观管理任务等典型多智能体环境下优于一些强基线，并与最新的多智能体PPO方法（即MAPPO）相竞争。

Nov, 2021

本文针对合作多智能体系统中个体信用分配问题，重新审视QMIX算法。提出一种新的信用分配度量方法，并通过实证研究表明QMIX在信用分配度量方面能力有限。引入基于QMIX的梯度熵正则化策略，以提高信用分配能力、改善机器学习性能。实验表明，我们的方法可以提高学习效率，获得更好的性能表现。

Feb, 2022

本研究提出了一种名为 RACA 的新方法，利用基于图形的关系编码器对代理之间的拓扑结构进行编码，并利用基于注意力机制的观测抽象机制，实现了在测试时间的 ad-hoc 合作场景中的零启动通用化。

Jun, 2022

本研究提出了一种新的显式学分分配方法，名为具有贪心边际贡献的自适应价值分解（AVGM），它基于一种自适应价值分解，可以学习动态变化的多个智能体组的协作价值，并使用由价值分解计算出的贪心边际贡献作为个体信用来激励智能体学习最优协作策略。实验结果表明，我们的方法在多个非单调领域取得了显着的性能提高。

Feb, 2023

提出了一种名为Spatial-Temporal Attention with Shapley（STAS）的新方法，该方法可以在时间和空间维度上学习信用分配，在多智能体强化学习中实现有效的空间 - 时间信用分配，优于所有现有的基线。

Apr, 2023

信用分配问题是强化学习中一个长期存在的挑战，通过对深度强化学习中的时间性信用分配进行研究，提出了一种统一的信用形式，并分析了现有方法在处理延迟效应、位置换位和行动影响不足方面的挑战，还介绍了评估信用分配方法的协议，并建议诊断不同信用分配方法困难来源的方法。该综述为新进入者和研究人员提供了领域概述，为学者在信用分配问题上开展新研究提供了连贯的视角，并提出了未来研究的潜在方向。

Dec, 2023

本论文通过合作博弈理论研究了多智能体强化学习中的信用分配问题，提出了一种基于Markov Shapley值的信用分配方案，并应用于能源网络的真实问题上。

Feb, 2024