ICMLJul, 2020

去中心化强化学习：通过本地经济交易进行全局决策制定

PDF
TL;DR该研究旨在建立一个框架，以引导一群简单、专业、自我利益代理人解决传统上作为整体单一代理人序列决策问题的难题，并通过设计一种学习环境机制，使每个代理人的最优解与 Nash 平衡策略一致，并为其推导出了一类分散式强化学习算法，同时展示了该社群内在结构对于更高效的迁移学习可能带来的潜在优势。
decentralized approachnash equilibriumcredit assignment processreinforcement learning algorithmstransfer learning
发现论文，激发创造
  • 完全去中心化的合作多智能体强化学习：调查

    该论文系统地回顾了两种全面分散设置下的全面分散方法，即最大化所有代理的共享奖励和最大化所有代理的个人奖励之和，并讨论了未来研究方向。

    Jan, 2024

  • 合作多智体强化学习的共识学习

    本研究提出了一种协作多智能体强化学习的共识学习方法，通过基于本地观察的共识学习，在分散式执行期间将推断出来的共识明确地作为智能体网络的输入，从而发展他们的合作精神，并在若干完全合作任务上获得了令人信服的结果。

    Jun, 2022

  • 随机团队与博弈的去中心化 Q-Learning

    本文介绍了用于随机动态团队和游戏的分散 Q 学习算法，研究了其在包括团队问题在内的弱无环情况下的收敛性。

    Jun, 2015

  • 众多战略代理系统中的分散式学习

    我们提出了一种计算多智能体系统中闭环最优策略的方法，并证明了在拥有无限个智能体的系统中成功收敛到最优行为，而且我们的方法具有完全分散的特性，能够在经济和控制理论中的实际应用中收敛到纳什均衡策略。

    Mar, 2018

  • 零和马尔可夫博弈的分散式 Q 学习

    本研究在非协调控制下，针对无限期、折现、零和马尔可夫博弈中的多智能体强化学习进行了研究。提出了一种无限期 Q 学习动态，该学习动态在没有集中控制器的情况下收敛到 Nash 均衡点，并且可以有效应对非固定环境的挑战。

    Jun, 2021

  • 均场多智体强化学习：一种分散网络方法

    提出了基于 LTDE-Neural-AC 和演员 - 评论家方法的多智能体强化学习算法，应用于自驾车、拼车、数据和交通路由模型的图网络，其解决了分散式多智能体强化学习网络结构的问题，并具有收敛保证的优势。

    Aug, 2021

  • 改进分散式多智能体强化学习的无模型算法

    本文针对多智能体强化学习算法在代理数目增多时出现的采样复杂度指数级增长的现象，提出了一些去中心化的学习算法，并在几个关键的方面上做了优化，同时通过数值仿真验证我们理论的有效性。

    Oct, 2021

  • 去中心化一般和马尔可夫博弈中具有可证明效率的强化学习

    本文提出了一种多智能体强化学习算法，可以在一般和马尔可夫博弈中学习到一个粗略的相关均衡策略，并且算法是完全分散的，智能体只有本地信息，并不知道其他智能体的存在。

    Oct, 2021

  • $QD$-Learning: 一种多智能体强化学习的合作式分布式策略，通过共识 + 创新实现

    该论文研究了一类多智能体马尔可夫决策过程，在其中，网络代理对全局可控状态和远程控制器的控制行为有不同的响应。在没有全局状态转移和本地代理成本统计信息之前，论文探讨了一种分布式强化学习设置，并提出了一种分布式版本的 Q-learning 方法来实现网络目标。通过稀疏（可能随机）通信网络上的局部处理和信息交流，实现了代理协作。在只知道其本地在线成本数据和代理之间的弱连接通信网络的假设下，提出的分布式方案在几乎确定的情况下被证明会渐进性地实现各个网络层面上的期望值函数和最优静止控制策略。所开发的分析技术可用于处理交互分布式方案导致的混合时间尺度随机动态的 “共识 + 创新” 形式，这些技术对独立的利益具有重要意义。

    Apr, 2012

  • 高社会福利纳什均衡的规范导向学习

    本文提出了一种用于训练多智能体系统中的纳什均衡的强化学习框架，该框架利用高级规定来编码目标，并优先考虑多智能体系统的社会福利，经验评估表明，相对于现有方法，本算法计算的纳什均衡策略具有更高的社会福利。

    Jun, 2022