Aug, 2023

多智能体强化学习在反向传播中的离散化方法的深度分析

HTML
PDF
TL;DR在多智能体强化学习中，当智能体无法观察到完整的环境状态时，沟通是至关重要的。借助可微分的通信渠道允许梯度在智能体之间流动作为一种反馈的最常见方法；然而，当我们想要使用离散消息来减小消息大小时，这种方法面临挑战，因为梯度无法通过离散通信渠道传递。本文比较了几种最先进的离散化方法和一种新方法，并将比较应用于基于梯度的沟通学习，并在多个环境中进行了测试。此外，本文还提出了一种基于DIAL和COMA的沟通学习方法COMA-DIAL，该方法通过学习率缩放和适应性探索进行了扩展，使我们能够在更复杂的环境中进行实验。实验结果表明，本文提出的新方法ST-DRU在各种环境中都取得了最佳结果，每个实验中的表现最好或接近最佳，并且是唯一一个在任何测试环境中都没有失败的方法。
发现论文，激发创造
  • 深度多智能体强化学习中的通信学习

    本研究基于深度神经网络，提出两种学习策略（RIAL和DIAL），探究在多智能体感知与互动的环境下，通过学习通信协议最大化共享效益的问题。研究表明通过这种中心化学习、分散式执行的方法能够在通信难题和多智能体计算机视觉问题领域中实现端到端的协议学习。

    May, 2016

  • 通过基于记忆的通信提高小规模多智体深度强化学习中的协调

    本文提出了一个基于深度确定性策略梯度的多智能体训练框架，利用存储设备并发端到端学习明确的通信协议，来提高小规模系统中智能体的协作和性能，同时研究了不同通信模式对性能的影响。

    Jan, 2019

  • 基于方差控制的多智能体强化学习高效通信

    本文提出基于方差控制的多智能体强化学习技术（Variance Based Control，VBC），通过控制不同agent之间交流的消息方差来提高通信效率，可使agent利用有用信息，减少噪音影响，从而在StarCraft II游戏中实现更好的合作策略和低延迟通信。

    Sep, 2019

  • 学习高效的多智体通信：信息瓶颈方法

    研究了在有限带宽传输的情况下，多智能体强化学习所需的有效通信协议和分配方法，并基于信息瓶颈原则学习了一种有价值的、紧凑的通信协议及其权重调度策略。通过实验，证明了这种方法在有限的带宽条件下实现了有效通信。

    Nov, 2019

  • 一种基于双层循环的去中心化通信框架，用于多智能体强化学习

    该研究提出了一种模型，可以实现分散的多个代理程序以公平适应的方式共享其对环境的感知。我们提出了一个双层递归通信框架，用于多代理系统，其中第一次循环出现在通信序列中并用于在代理之间传输通信数据，而第二次循环基于时间序列并结合每个代理的历史观察结果。该方法在部分可观测环境和完全可观测环境中提供了充分的讨论，多次实验结果表明该方法优于现有的分散通信框架和相应的集中训练方法。

    Feb, 2022

  • 多智能体强化学习与通信调查

    本文介绍了多个方面可以在设计和开发多智能体强化学习系统中扮演角色的通信，并提出了 Comm-MARL 系统分析、开发和比较的几个维度。

    Mar, 2022

  • 关于新兴沟通在多智能体强化学习中的社会学习作用

    本文提出了一种基于信息瓶颈的无监督方法，用于探索非常稀疏的多智能体增强学习中的社交通信情境，该方法可以捕捉引用复杂性和任务特定效用，并开发出一种自然语言灵感的信息组成的词汇表，该词汇表独立于一组紧急概念，使其具有极小的位数，同时可以使用社交影子的观测构成，并通过社交影子来学习通信策略。

    Feb, 2023

  • 多智能体强化学习：异步通信和线性函数逼近

    该论文研究了多智能体强化学习在时序马尔科夫决策过程的情景下的应用，提出了一种基于价值迭代的算法，实现异步通信并保证协作的优势，证明了，当使用线性函数逼近时，该算法的遗憾值可达到 $\tilde{\mathcal{O}}(d^{3/2}H^2\sqrt{K})$，且通信复杂度为 $\tilde{\mathcal{O}}(dHM^2)$。

    May, 2023

  • 多智能体强化学习中的完全独立通信

    研究对多智能体强化学习的通信方法进行了调查，发现独立学习者在不共享参数的情况下仍然可以学习通信策略，并观察到通信在不同网络容量下的影响。

    Jan, 2024

  • 通过任务不可知通信来推广多智能体协作

    现有合作多机器人问题中的多智能体强化学习通信方法几乎全部是特定任务的，我们通过引入一种适用于给定环境中的任何任务的通信策略，解决了这种低效的问题。我们以一种自我监督的方式，使用一组自动编码器在没有特定任务奖励指导的情况下预训练通信策略，目标是从可变数量的智能体观察中学习一个固定大小的潜在马尔可夫状态。在温和的假设下，我们证明了使用我们的潜在表示的策略必定收敛，并上界了我们的马尔可夫状态近似引入的值误差。我们的方法使得无需微调通信策略即可无缝适应新任务，在训练期间支持更多智能体的扩展，并且能够检测环境中的异常事件。对不同的多智能体强化学习场景的实证结果验证了我们方法的有效性，在未知任务中优于特定任务的通信策略。

    Mar, 2024