Jun, 2022

DM$^2$: 分布匹配的去中心化多智能体强化学习

PDF
TL;DR本研究讨论无集中式组分和显式通讯的分布式多智能体学习，研究表明分布式匹配技术可用于协调独立智能体之间的协作，开发了一种实用的基于样本轨迹的算法（DM^2），已在 StarCraft 领域验证。
multi-agent learningdistributed coordinationdistribution matchingjoint policyexpert demonstrations
发现论文，激发创造
  • 通过离策略分布匹配实现的模仿学习

    本研究提出一种名为 ValueDICE 的基于离线数据的策略优化算法，它使用分布匹配方法来提高数据利用效率并优化如何评估专家演示数据的不同媒介投放，实现了在模拟学习测试上的最佳性能。

    Dec, 2019

  • 关于强化学习和分布匹配的论文，用于微调语言模型以避免灾难性遗忘

    研究表明 Reward Maximization 和 Distribution Matching 之间存在理论上的联系，并发现两种方法在提高约束满足度、稳定性和样本效率方面添加基线的好处。

    Jun, 2022

  • 通过矩匹配实现分布式强化学习

    本文提出了一种无限制统计学习方法，利用神经网络和最大均值偏差技术来匹配收益分布和 Bellman 目标，适用于分布式 RL 并在 Atari 游戏中获得了优异表现。

    Jul, 2020

  • 多样本目标值用于分布式强化学习的探索

    本文介绍了一种基于多样本目标值的分布式强化学习算法 E2DC，能够更加准确地学习状态的回报分布，并能够在 UCB 探索的基础上提高性能。作者在一系列连续控制任务上验证了该算法的有效性，并通过可视化和分析展示了学习过程中回报分布的演化。

    Feb, 2022

  • $QD$-Learning: 一种多智能体强化学习的合作式分布式策略，通过共识 + 创新实现

    该论文研究了一类多智能体马尔可夫决策过程，在其中，网络代理对全局可控状态和远程控制器的控制行为有不同的响应。在没有全局状态转移和本地代理成本统计信息之前，论文探讨了一种分布式强化学习设置，并提出了一种分布式版本的 Q-learning 方法来实现网络目标。通过稀疏（可能随机）通信网络上的局部处理和信息交流，实现了代理协作。在只知道其本地在线成本数据和代理之间的弱连接通信网络的假设下，提出的分布式方案在几乎确定的情况下被证明会渐进性地实现各个网络层面上的期望值函数和最优静止控制策略。所开发的分析技术可用于处理交互分布式方案导致的混合时间尺度随机动态的 “共识 + 创新” 形式，这些技术对独立的利益具有重要意义。

    Apr, 2012

  • 分布式强化学习的原始对偶算法：分布式 GTD

    研究分布式版本的梯度时差分 (GTD) 学习算法，应用于多代理马尔可夫决策过程 (MDPs) 中。通过将问题转化为带有共识约束的约束凸优化问题，并提出原始 - 对偶分布式 GTD 算法，以证明其几乎必定收敛于优化问题的一组静止点。

    Mar, 2018

  • 网络化多智能体马尔可夫决策过程的分布式动态规划

    该论文旨在研究分布式动态规划来解决网络化多智能体马尔可夫决策问题，通过控制理论视角提出了在连续时间领域的分布式动态规划，并证明了其收敛性，该分析可被视为分布式时态差异学习算法的初步常微分方程分析，其收敛性可通过 Borkar-Meyn 定理和单时间尺度方法证明。

    Jul, 2023

  • 分布式健壮强化学习与交互式数据采集：基本难题与近似最优算法

    通过交互式数据收集，我们引入消失的最小值假设来解决强化学习中的 sim-to-real 差距问题，为设计样本高效的算法提供了足够的条件，并伴随着尖锐的样本复杂性分析。

    Apr, 2024

  • 多智能体强化学习中的策略蒸馏与价值匹配

    本文提出了一种多智能体 Actor-Critic 算法，通过分解多智能体问题以及知识蒸馏和价值匹配等方法，使智能体之间能够共享信息并解决维度灾难问题，进而在离散和连续动作空间中实现更好的性能。

    Mar, 2019

  • 完全去中心化的合作多智能体强化学习：调查

    该论文系统地回顾了两种全面分散设置下的全面分散方法，即最大化所有代理的共享奖励和最大化所有代理的个人奖励之和，并讨论了未来研究方向。

    Jan, 2024