MMOct, 2022

LearningGroup: 基于可学习的权重分组的 FPGA 实时稀疏训练，用于多智能体强化学习

PDF
TL;DR本研究提出了一种名为 LearningGroup 的实时稀疏训练加速系统，采用针对多智能体强化学习的网络剪枝，并结合算法 / 架构协同设计。该系统在 FPGA 加速器上实现全面的芯片内训练和高度优化的数据流 / 数据格式，以最小化稀疏数据产生的周期时间和内存占用，并在处理稀疏数据的效率上显示出 12.52 倍的加速。
multi-agent reinforcement learningnetwork pruningsparse training accelerationon-chip trainingfpga accelerator
发现论文，激发创造
  • GST：组稀疏训练以加速深度强化学习

    为了加速深度强化学习在实际边缘设备中的运行，本文提出了一种基于分块循环压缩的权重压缩方法，名为组稀疏训练 (GST)，该方法在所有深度强化学习迭代中选择性地使用分块循环压缩，并通过奖励感知修剪动态地调整目标稀疏度，以实现稳定的训练，实验表明该方法在 Mujoco Halfcheetah-v2 和 Mujoco humanoid-v2 环境下的 TD3 训练中，平均压缩比比迭代修剪方法高 25% p-41.5% p，而且没有奖励降低。

    Jan, 2021

  • 基于合作图的多智能体稀疏奖励强化学习方法

    本文提出了一种基于 Cooperation Graph 结构的 Multiagent Reinforcement Learning（CG-MARL）算法，通过设计一个网络结构来有效处理多智能体领域中的稀疏奖励问题，并在实验中展示出全面领先的性能表现。

    Aug, 2022

  • 具有动态参与智能体的可转移的多智能体强化学习

    本研究提出一种具有 Few-shot Learning 算法的网络架构，允许在集中式训练期间代理的数量变化，这可以使新代理的模型适应速度比基线模型快 100 多倍。

    Aug, 2022

  • 联邦学习中高效客户端选择的多智能体强化学习方法

    本文提出了一种基于 Multi-Agent Reinforcement Learning 的 Federated learning 框架 - FedMarl，该框架不仅可以显著提高模型精度，还能大幅降低处理延迟和通信成本，从而解决了 Federated learning 在实际应用中的训练效率问题。

    Jan, 2022

  • 多智能体强化学习用于微处理器设计空间探索

    本文提出了使用 Multi-Agent RL 来应对硬件体系结构搜索中领域特定定制的挑战，此方法相对于单一智能体，其可扩展性更高且运行更高效。该方法已在设计领域特定 DRAM 内存控制器上得到验证，并表现出在低功耗和延迟等不同目标方面显著优于单一代理强化学习算法，如 Proximal Policy Optimization 和 Soft Actor-Critic。

    Nov, 2022

  • 在有向无环图约束下学习多个协同代理

    本文提出了一种新的多智能体强化学习方法，旨在学习在有向无环图 (DAG) 约束条件下的多个协调智能体。我们的方法利用智能体之间的 DAG 结构，有效提高学习性能，并通过提出一种基于合成奖励的 MARL 模型的新型替代值函数来证明其作为最优值函数的下限。计算上，我们提出了一种实用的训练算法，利用新的领导智能体和奖励生成器 / 分配智能体引导分解的从属智能体更好地探索具有 DAG 约束的环境的参数空间。实证上，我们利用了四个 DAG 环境，包括英特尔高容量封装和测试工厂的真实排程，对我们的方法进行基准测试，证明其优于其他非 DAG 方法。

    Jul, 2023

  • 基于模型辅助的联邦强化学习在物联网多无人机轨迹规划中的应用

    本文提出了一种新的基于模型的联邦多智能体强化学习算法，用于协调多个无人机在数据收集任务中，以解决传统多智能体强化学习算法需要大量真实训练数据的问题，并在各个方面取得了良好的表现。

    Jun, 2023

  • 在稀疏图上学习均值场博弈：一种混合图 ex 方法

    学习大规模代理人群的行为是许多研究领域的重要任务。尽管多智能体强化学习（MARL）领域在解决这些系统上取得了重要进展，但对于许多代理人，解决方案通常在计算上不可行且缺乏理论保证。平均场博弈（MFG）解决了这两个问题，并可扩展为包括代理人之间网络结构的图形 MFG（GMFG）。尽管 GMFG 具有优点，但其在现实世界的适用性受限于图形只能捕捉到稠密图。因为大多数经验观察到的网络显示出一定程度的稀疏性，例如幂律图，所以 GMFG 框架不足以捕捉这些网络拓扑。因此，我们引入了图形拓扑 MFG（GXMFG）的新概念，它基于图形理论概念图形拓扑。图形拓扑是稀疏图序列的极限对象，还具有其他有利特性，如小世界属性。由于底层图的丰富且稀疏结构，学习这些游戏的平衡是具有挑战性的。为了解决这些挑战，我们设计了一种针对 GXMFG 设置的新学习算法。这种混合图形拓扑学习方法利用系统主要由高度连接的核心和稀疏的外围组成的特点。在定义系统并提供理论分析之后，我们说明了我们的学习方法，并展示了它在合成图形和真实网络上的学习能力。这种比较表明，我们的 GXMFG 学习算法成功地将 MFG 扩展到一类难度高且现实的学习问题，而这些问题现有的 MARL 和 MFG 方法无法准确解决。

    Jan, 2024

  • 多智能体强化学习中推断潜在时间稀疏协调图

    在合作多智能体强化学习中，有效的智能体协调至关重要。为了解决现有方法中对历史经验的忽视和稠密图计算的可扩展性问题，我们提出了一种基于潜在时间稀疏协调图的多智能体强化学习方法。该方法利用智能体的历史观测计算智能体对概率矩阵，并基于此矩阵生成稀疏图，以促进智能体之间的知识交流，同时捕捉智能体之间的依赖关系和关系不确定性。该方法还引入了 “预测未来” 和 “推断现在” 两个创新特性，使得该方法能够从有限数据中构建历史和实时信息的时间图，促进策略学习和有效协作。实验结果表明，该方法在 StarCraft II 基准测试中具有卓越的性能。

    Mar, 2024

  • 完全分布式雾计算负载均衡与多智能体强化学习

    提出了一种使用多智能体强化学习的全分布式负载平衡解决方案，通过智能地分布物联网工作负载，在提供公平资源利用的同时优化等待时间，从而最小化等待时间并改善端到端执行延迟。

    May, 2024