胜利的势头：异构环境下的协作联邦强化学习

May, 2024

胜利的势头：异构环境下的协作联邦强化学习

Momentum for the Win: Collaborative Federated Reinforcement Learning across Heterogeneous Environments

Han Wang, Sihong He, Zhili Zhang, Fei Miao, James Anderson

TL;DR我们提出了两个算法：FedSVRPG-M 和 FedHAPG-M，通过利用动量机制，不论环境异质性的大小，两个算法都可以精确收敛到平均性能函数的一个稳定点，进一步结合方差降低技术或海森矩阵近似，两个算法均达到了最新的收敛结果，其采样复杂度为 O (epsilon^(-3/2)/N)，同时我们的算法线性加速了收敛速度，并突显了在找到共同策略中代理之间合作的好处。

Abstract

We explore a federated reinforcement learning (FRL) problem where $N$ agents collaboratively learn a common policy without sharing their trajectory data. To date, existing FRL work has primarily focused on

federated reinforcement learning agents environment heterogeneity fedsvrpg-m fedhapg-m

发现论文，激发创造

有限时间分析对策略异构联合强化学习的应用

通过引入线性函数逼近方法，我们提出了 FedSARSA，一种新颖的联邦在线政策强化学习方案，以应对 FRL 算法的挑战，并提供全面的有限时间误差分析。我们证明了 FedSARSA 收敛于对所有代理都接近最优的政策，该接近程度与异质性水平成正比。此外，我们证明了 FedSARSA 利用代理协作实现了线性加速，随着代理数量的增加而适应性地提升速度，对于固定和自适应步长配置均成立。

Jan, 2024

具约束异构的联邦强化学习

我们研究了具有约束异构性的联邦强化学习（FedRL）问题，通过多个智能体在不同环境下协同学习，解决具有多个约束的强化学习问题，并提出了基于传统策略梯度方法的联邦原始 - 对偶策略优化方法，其中我们关注的两种算法为 FedNPG 和 FedPPO，通过使用深度神经网络，FedPPO 有效地解决了复杂的学习任务。

May, 2024

联邦自然策略梯度方法用于多任务强化学习

多任务情境下的联邦强化学习，通过策略优化实现分布式决策，并建立了全局收敛性保证。

Nov, 2023

基于动量的联邦强化学习与交互沟通效率

Federated Reinforcement Learning (FRL) algorithm, MFPO, enhances data utilization by controlling policy gradients using momentum and importance sampling, achieving efficient interaction and communication complexities with performance gains over existing methods.

May, 2024

联邦 Q 学习中异构的优点：线性加速及其它

该论文讨论了利用分布式数据进行在线学习时，采用联邦 Q 学习算法可以在不共享数据的情况下进行合作学习，提出了一种基于重要性加权的平均算法，加速了算法的收敛速度，降低了样本复杂度。

May, 2023

联合策略梯度方法在存在对手情况下的全局收敛保证

在 Federated Reinforcement Learning 中，我们提出了一种基于策略梯度的方法，能够在存在对抗性代理的情况下，实现全局收敛性保证，并具有较低的样本复杂度。

Mar, 2024

联邦强化学习：技术、应用和未解决的挑战

本文介绍了联邦强化学习 (Federated Reinforcement Learning, FRL) 的全面调查，重点介绍了 FRL 作为一种新的方法，其基本思想是利用联邦学习来提高 RL 的性能，同时保护数据隐私。根据框架中代理的分布特征，FRL 算法可分为两类，即水平联邦强化学习 (HFRL) 和竖直联邦强化学习 (VFRL)。最后，介绍了几个重要的研究方向以解决 FRL 中存在的问题。

Aug, 2021

面向联邦强化学习的通信高效共识机制

本文考虑了联邦学习范式下的独立强化学习问题，提出了一种系统效用函数以及基于周期平均法的共识优化方案，在理论分析与数值模拟中证明了其优异性和有效性。

Jan, 2022

带有生成模型的压缩联邦强化学习

提出了一种通信高效的联合强化学习方法，该方法利用周期性聚合和压缩机制将本地代理的压缩估计聚合到一个中央服务器上，首次对这两种机制进行了有限时间分析，并在实验中验证了算法的收敛性行为。

Mar, 2024

零 - shot 泛化的机器人运动规划的联邦强化学习

本文提出了一个零样本泛化的机器人运动规划学习控制策略的问题，在新环境中部署学习策略时不需要数据收集和策略调整；开发了一个联邦强化学习框架，可以实现多个学习者和中央服务器（云）协作学习，而无需共享原始数据；在每次迭代中，每个学习者上传本地控制策略和相应的估计归一化到达时间到云端，云端计算出多个学习者之间的全局最优解并广播最优策略给学习者；每个学习者从云端和本地控制策略中选择下一次迭代的策略；所提出的框架利用到达时间和安全性的零样本泛化保证。给出了几乎必定收敛、几乎共识、Pareto 改进和最优间隙的理论保证。通过蒙特卡洛仿真评估了提出的框架。

Mar, 2024