Aug, 2021

联邦强化学习：技术、应用和未解决的挑战

HTML
PDF
TL;DR本文介绍了联邦强化学习 (Federated Reinforcement Learning, FRL) 的全面调查，重点介绍了 FRL 作为一种新的方法，其基本思想是利用联邦学习来提高 RL 的性能，同时保护数据隐私。根据框架中代理的分布特征，FRL算法可分为两类，即水平联邦强化学习(HFRL) 和竖直联邦强化学习 (VFRL)。最后，介绍了几个重要的研究方向以解决FRL中存在的问题。
发现论文，激发创造
  • 联邦深度强化学习

    本文提出了一种新的深度强化学习框架FedRL，旨在联邦地建立高质量的代理模型，其中考虑到其隐私，并通过利用高斯微分来保护数据和模型的隐私。在Grid-world和Text2Action领域的实验中，该框架与各种基线模型进行了比较。

    Jan, 2019

  • 代理经验回放：分布式强化学习的联合蒸馏

    本文介绍了一种名为联邦强化蒸馏（FRD）的通信高效和隐私保护的分布式强化学习框架，并通过模拟实验验证了改进版本的 MixFRD 相对于基准方案具有更好的任务完成时间和通信成本方差减少。

    May, 2020

  • 联邦学习中高效客户端选择的多智能体强化学习方法

    本文提出了一种基于Multi-Agent Reinforcement Learning的Federated learning框架- FedMarl，该框架不仅可以显著提高模型精度，还能大幅降低处理延迟和通信成本，从而解决了Federated learning在实际应用中的训练效率问题。

    Jan, 2022

  • 面向联邦强化学习的通信高效共识机制

    本文考虑了联邦学习范式下的独立强化学习问题，提出了一种系统效用函数以及基于周期平均法的共识优化方案，在理论分析与数值模拟中证明了其优异性和有效性。

    Jan, 2022

  • AVDDPG: 自主编队控制中的联邦强化学习

    研究在自动驾驶车队中应用联邦强化学习的有效性，发现使用权重聚合的车队内联邦强化学习方法提供了最佳性能，同时发现使用联邦学习的车队表现比没有使用的车队表现更好。

    Jul, 2022

  • V2X网络中资源分配的联邦强化学习

    在车联网（V2X）网络中，我们通过联邦强化学习（FRL）框架探索资源分配，并使用非精确交替方向乘子法（ADMM）实现了算法PASM，在V2X网络中解决资源分配问题，并与基线方法进行了比较。

    Oct, 2023

  • 有限时间分析对策略异构联合强化学习的应用

    通过引入线性函数逼近方法，我们提出了FedSARSA，一种新颖的联邦在线政策强化学习方案，以应对FRL算法的挑战，并提供全面的有限时间误差分析。我们证明了FedSARSA收敛于对所有代理都接近最优的政策，该接近程度与异质性水平成正比。此外，我们证明了FedSARSA利用代理协作实现了线性加速，随着代理数量的增加而适应性地提升速度，对于固定和自适应步长配置均成立。

    Jan, 2024

  • 联邦离线强化学习：协同单策略覆盖足够

    通过将离线强化学习与联邦学习相结合，本文研究了联邦离线强化学习在有限时间段下的马尔可夫决策过程中的优势，设计了一种名为FedLCB-Q的变体算法，通过合作利用多个智能体的离线数据集实现了线性加速，并实现了与单智能体方法相当的样本复杂度，同时具备通信效率。

    Feb, 2024

  • 基于动量的联邦强化学习与交互沟通效率

    Federated Reinforcement Learning (FRL) algorithm, MFPO, enhances data utilization by controlling policy gradients using momentum and importance sampling, achieving efficient interaction and communication complexities with performance gains over existing methods.

    May, 2024

  • 胜利的势头：异构环境下的协作联邦强化学习

    我们提出了两个算法：FedSVRPG-M和FedHAPG-M，通过利用动量机制，不论环境异质性的大小，两个算法都可以精确收敛到平均性能函数的一个稳定点，进一步结合方差降低技术或海森矩阵近似，两个算法均达到了最新的收敛结果，其采样复杂度为O(epsilon^(-3/2)/N)，同时我们的算法线性加速了收敛速度，并突显了在找到共同策略中代理之间合作的好处。

    May, 2024