Feb, 2022

重新审视 QMIX: 通过梯度熵正则化实现区分式信用分配

PDF
TL;DR本文针对合作多智能体系统中个体信用分配问题，重新审视 QMIX 算法。提出一种新的信用分配度量方法，并通过实证研究表明 QMIX 在信用分配度量方面能力有限。引入基于 QMIX 的梯度熵正则化策略，以提高信用分配能力、改善机器学习性能。实验表明，我们的方法可以提高学习效率，获得更好的性能表现。
cooperative multi-agent systemscredit assignment mechanismqmixgradient entropy regularizationlearning efficiency
发现论文，激发创造
  • Soft-QMIX：整合最大熵用于单调值函数分解

    提出了 QMIX 的增强算法，通过在最大熵强化学习框架内引入额外的本地 Q 值学习方法，从而解决 QMIX 的探索策略问题，并保证了局部最优动作与全局最优动作的一致性。该方法在理论和实验上得到了验证，并在矩阵游戏、多智能体粒子环境和 SMAC-v2 中表现出了领先水平的性能。

    Jun, 2024

  • ProMP: 近端元策略搜索

    本文研究 Meta-reinforcement learning 中信用分配的理论分析，提出了一种新的元学习算法，通过控制先适应和适应策略的统计距离，实现了高效和稳定的元学习。该方法导致出色的先适应策略行为，并在样本效率，墙钟时间和渐近性能方面始终优于以前的 Meta-RL 算法。

    Oct, 2018

  • 选择性信用分配

    通过对选择性赋权的 TD 方法进行统一描述和理解，介绍了如何将赋权应用于基于值的学习和规划算法中，以调节预测和控制问题中的后向信用分配。在这个空间中，我们还确定了一些现有的在线学习算法，它们可以作为特例进行选择性分配信用，并增加了一些可以反事实分配信用的算法，使得信用可以从轨迹和策略之外进行分配。

    Feb, 2022

  • 从信用分配到熵正则化：神经序列预测的两个新算法

    本论文研究了奖励增强最大似然学习的信用分配问题，并在令牌级的 RAML 和熵正则化强化学习之间建立了理论等价性。在两个基准数据集上，我们展示了所提出的算法分别优于 RAML 和 Actor-Critic，为序列预测提供了新的选择。

    Apr, 2018

  • Hindsight-DICE：深度强化学习的稳定信用分配

    利用重要性抽样比率估计技术改进了策略梯度方法中的信用分配问题，解决了在顺序决策制定问题中缺乏评估反馈的挑战。

    Jul, 2023

  • 强化学习的模块化：通过算法独立性进行信用分配

    本研究提出了一种模块化信用分配的形式化理论，通过对算法自身的因果分析，将社会决策制定框架作为马尔可夫决策过程的更精细正式框架，证明了一些单步时序差分行为价值方法满足这一约束条件，而所有政策梯度方法都不满足该约束条件，传输学习的实证研究表明这种行为价值方法在要求对先前最优决策序列进行稀疏更改的情况下，比政策梯度方法具有更高的样本效率。

    Jun, 2021

  • QR-MIX: 合作多智能体强化学习中的分布式价值函数分解

    提出了 QR-MIX 模型，通过引入分位数回归来建模联合状态行动值分布，结合 QMIX 和隐式分位数网络，提高了随机性和单调性的容忍度，优于 QMIX。

    Sep, 2020

  • 基于加权 QMIX 算法的深度多智能体强化学习中的单调价值函数分解扩展

    该研究提出 QMIX 算法的限制防止了其表示值函数，引入加权方案来恢复表示并提高性能

    Jun, 2020

  • 深度强化学习中的时间信用分配调查

    信用分配问题是强化学习中一个长期存在的挑战，通过对深度强化学习中的时间性信用分配进行研究，提出了一种统一的信用形式，并分析了现有方法在处理延迟效应、位置换位和行动影响不足方面的挑战，还介绍了评估信用分配方法的协议，并建议诊断不同信用分配方法困难来源的方法。该综述为新进入者和研究人员提供了领域概述，为学者在信用分配问题上开展新研究提供了连贯的视角，并提出了未来研究的潜在方向。

    Dec, 2023

  • 基于贪心边际贡献计算的适应值分解用于协同多智体强化学习

    本研究提出了一种新的显式学分分配方法，名为具有贪心边际贡献的自适应价值分解（AVGM），它基于一种自适应价值分解，可以学习动态变化的多个智能体组的协作价值，并使用由价值分解计算出的贪心边际贡献作为个体信用来激励智能体学习最优协作策略。实验结果表明，我们的方法在多个非单调领域取得了显着的性能提高。

    Feb, 2023