Dec, 2023

多智能体强化学习的自适应参数共享

PDF
TL;DR我们提出了一种新颖的参数共享方法，通过将每种类型的代理映射到共享网络中的不同区域，基于它们的身份，形成不同的子网络，从而增加了不同代理之间的策略多样性，而不引入额外的训练参数，通过在多个环境中进行的实验证明，我们的方法表现优于其他参数共享方法。
parameter sharingmulti-agent systemsscalabilitydifferentiated strategiesperformance
发现论文，激发创造
  • 利用选择性参数共享扩展多智体强化学习

    该论文提出了一种新颖的方法，通过根据智能体的能力和目标对其进行分区，将参数共享的样本效率与多个独立网络的表征能力相结合，以缩短训练时间并提高最终回报，从而解决多智能体深度强化学习中，参数共享方法在不同环境下对训练速度和收敛效果的影响。

    Feb, 2021

  • 网络修剪参数共享的可扩展多智能体深度强化学习

    本文提出了一种基于结构剪枝的深度神经网络方法，旨在增加联合策略的表示能力从而在多智能体强化学习中减少共享参数对不同行为任务的性能影响。多项基准测试表明所提方法相比共享参数方法具有显著的提高。

    Mar, 2023

  • 共同体多智能体强化学习的参数共享深度确定性策略梯度

    本文探讨基于 actor-critic 方法的合作多智能体问题，在局部观察设置下，在神经网络的基础上提出了参数共享确定性策略梯度方法，包括演员评论家共享、演员共享和部分共享评论家的演员共享等三个变体，该方法在学习速度、内存效率和智能体数量方面具有优势，并能充分利用奖励共享和交换特性。

    Oct, 2017

  • 如何协作训练异质强化学习代理，使其适应稀疏回报的环境？

    本研究结合内在动机和传递学习的思想，探讨了基于行动者 - 评论家模型共享参数和结合内在动机信息的多智能体协同学习算法，在探索和学习效率上有一定提升，并强调正确调节外部和内部奖励间的重要性，以避免不良学习行为。

    Feb, 2022

  • 共享多智能体强化学习中的多样性庆祝

    本研究介绍了多智能体强化学习中多样性的重要性，并提出了信息理论正则化和共享神经网络架构中的代理特定模块的方法，以促进代理之间的协作和多样性，实验结果表明该方法在 Google Research Football 和超难的星际争霸 II 微观管理任务上取得了最先进的表现。

    Jun, 2021

  • 通过学习参数分配实现灵活的多任务网络

    本文提出了一种新颖的多任务学习方法，其中借助了多任务神经网络的参数共享，通过学习精细的参数共享模式来提高模型性能，该模式通过二进制变量实现，与模型参数共同反向传播学习，并在 Omniglot 基准测试中实现了 17％相对误差减小。

    Oct, 2019

  • 为多个任务学习稀疏共享架构

    研究深度多任务学习的参数共享机制，提出了一种自动发现稀疏共享结构的方法，利用子网络对多个任务进行部分重叠并行训练，取得了良好的实验效果。

    Nov, 2019

  • DynaShare：基於任務和實例條件的參數共享用於多任務學習

    本文提出了一种新颖的多任务学习参数共享方法，它在推理时间上联合任务和中间特征表示来调节参数共享。与传统的参数共享方法不同，我们的方法利用任务和输入实例动态决定哪些网络部分被激活。该方法学习一个分层门控策略，包括粗层选择的任务特定策略和个体输入实例的门控单元，它们一起确定推理时间上的执行路径。在 NYU v2、Cityscapes 和 MIMIC-III 数据集上的实验验证了该方法的潜力和其适用性跨问题领域。

    May, 2023

  • 多任务深度强化学习中的知识共享

    我们研究了在多任务强化学习中共享表示的益处，以实现深度神经网络的有效使用。我们利用从不同任务中学习、分享共同特性的假设，有助于推广知识，从而比学习单个任务更有效地进行特征提取。通过在广泛使用的强化学习基准上进行实证评估，我们提出了三种强化学习算法的多任务扩展，并证明了在样本效率和性能方面相较于单任务具有显著改进。

    Jan, 2024

  • 理解 Transformer 中的参数共享

    通过研究深度模型中参数共享的原因，本文发现共享参数主要是通过优化训练收敛来提高模型性能。在机器翻译等任务中，我们的模型表现优异，且仅有参数共享模型一半的复杂度。

    Jun, 2023