联邦式集合指导下的离线强化学习

May, 2023

联邦式集合指导下的离线强化学习

Federated Ensemble-Directed Offline Reinforcement Learning

Desik Rengarajan, Nitin Ragothaman, Dileep Kalathil, Srinivas Shakkottai

TL;DR本文介绍了一种使用联邦学习平台上的分布式计算资源，基于集成学习方法开发的、名为 FEDORA 的算法，以解决联邦离线强化学习问题。我们展示了 FEDORA 在各种复杂的连续控制环境和真实世界数据集中明显优于其他方法，包括离线 RL 在合并数据池中，最终在移动机器人上演示了 FEDORA 的表现。

Abstract

We consider the problem of federated offline reinforcement learning (RL), a scenario under which distributed learning agents must collaboratively learn a high-quality →

federated learning offline reinforcement learning ensemble learning distributed learning agents control policy

发现论文，激发创造

联邦离线强化学习：协同单策略覆盖足够

通过将离线强化学习与联邦学习相结合，本文研究了联邦离线强化学习在有限时间段下的马尔可夫决策过程中的优势，设计了一种名为 FedLCB-Q 的变体算法，通过合作利用多个智能体的离线数据集实现了线性加速，并实现了与单智能体方法相当的样本复杂度，同时具备通信效率。

Feb, 2024

联邦深度强化学习

本文提出了一种新的深度强化学习框架 FedRL，旨在联邦地建立高质量的代理模型，其中考虑到其隐私，并通过利用高斯微分来保护数据和模型的隐私。在 Grid-world 和 Text2Action 领域的实验中，该框架与各种基线模型进行了比较。

Jan, 2019

基于双规范化的联邦离线策略优化

提出了一种名为 DRPO 的离线联邦策略优化算法，通过使用双重正则化来解决离线联邦强化学习中的两级分布变化问题，实现了分布式智能决策的显著性能提升。

May, 2024

具有异构观测数据的联邦离线策略学习

本文提出了一种基于聚合局部策略和双重稳健离线策略评估和学习策略的联邦策略学习算法，并针对异构数据源的观测数据情况，在不交换原始数据的情况下，在中央服务器上学习分布于异构数据源上的决策政策。

May, 2023

用于自主驾驶的联邦迁移强化学习

使用联邦学习的方法，将基于模拟器的强化学习模型实现动态的知识提取和共享，促进自动驾驶和机器人应用中的知识共享，进而在实时碰撞避免任务中实现更好的表现。

Oct, 2019

带有生成模型的压缩联邦强化学习

提出了一种通信高效的联合强化学习方法，该方法利用周期性聚合和压缩机制将本地代理的压缩估计聚合到一个中央服务器上，首次对这两种机制进行了有限时间分析，并在实验中验证了算法的收敛性行为。

Mar, 2024

零 - shot 泛化的机器人运动规划的联邦强化学习

本文提出了一个零样本泛化的机器人运动规划学习控制策略的问题，在新环境中部署学习策略时不需要数据收集和策略调整；开发了一个联邦强化学习框架，可以实现多个学习者和中央服务器（云）协作学习，而无需共享原始数据；在每次迭代中，每个学习者上传本地控制策略和相应的估计归一化到达时间到云端，云端计算出多个学习者之间的全局最优解并广播最优策略给学习者；每个学习者从云端和本地控制策略中选择下一次迭代的策略；所提出的框架利用到达时间和安全性的零样本泛化保证。给出了几乎必定收敛、几乎共识、Pareto 改进和最优间隙的理论保证。通过蒙特卡洛仿真评估了提出的框架。

Mar, 2024

多机器人场景中去中心化联邦强化学习

本文提出了一种基于移动代理的方法，在 Webots 中用 Tartarus 来去中心化联邦学习，实现在连接机器人的情况下的去中心化联邦增强学习（dFRL），在基于 Q 学习和 SARSA 的实验中，通过聚集它们对应的 Q 表，证明了在机器人领域使用去中心化联邦学习的可行性。

Jul, 2022

FedDRL：一个基于阶段强化学习的可信联邦学习模型融合方法

我们提出 FedDRL, 一种基于强化学习的两阶段模型融合方法，通过筛选恶意模型和选择可信的客户模型参与模型融合，并自适应调整可信客户模型的权重，实现最优全局模型的聚合，与两个基准算法相比，在五个模型融合场景中，我们的算法具有更高的可靠性，同时保持准确度。

Jul, 2023

联邦学习中高效客户端选择的多智能体强化学习方法

本文提出了一种基于 Multi-Agent Reinforcement Learning 的 Federated learning 框架 - FedMarl，该框架不仅可以显著提高模型精度，还能大幅降低处理延迟和通信成本，从而解决了 Federated learning 在实际应用中的训练效率问题。

Jan, 2022