FLASH-RL: 使用强化学习解决联邦学习中的系统和静态异构问题

Nov, 2023

FLASH-RL: 使用强化学习解决联邦学习中的系统和静态异构问题

FLASH-RL: Federated Learning Addressing System and Static Heterogeneity using Reinforcement Learning

Sofiane Bouaziz, Hadjer Benmeziane, Youcef Imine, Leila Hamdad, Smail Niar...

TL;DRFLASH-RL 是一种 Federated Learning 框架，利用 Double Deep Q-Learning 算法来处理系统和静态异质性，在 MNIST 和 CIFAR-10 数据集上展现了在模型效果和端到端延迟之间平衡取舍的有效性，相比现有解决方案，FLASH-RL 减少了 24.83% 的延迟，60.44% 的训练轮次，并在 MobiAct 数据集上相比 FedAVG 在模型性能方面提升了 2.82%，降低了 34.75% 的延迟，训练轮次也减少了 45.32%。

Abstract

federated learning (FL) has emerged as a promising Machine Learning paradigm, enabling multiple users to collaboratively train a shared model while preserving their local data. To minimize computing and communication costs associated with parameter transfer, it is common practice in FL

federated learning flash-rl double deep q-learning system and static heterogeneity end-to-end latency

发现论文，激发创造

FLASH：跨同时异质环境的联邦学习

FLASH 是一个轻量级、灵活的客户端选择算法，通过权衡与客户端数据质量、数据分布和延迟相关的统计信息来优化各种异质性源，从而在广泛的异质性源下优于最先进的 FL 框架。

Feb, 2024

强化学习作为鲁棒和公平联邦学习的催化剂：解读客户贡献的动态

提出了一种新的强化联邦学习（RFL）框架，通过深度强化学习在聚合过程中自适应优化客户贡献，提高模型对恶意客户的鲁棒性和参与者之间的公平性，在非独立分布的情况下实现鲁棒性和公平性，并通过验证集性能引导的奖励机制获得了可靠性和公平性的可比较水平。

Feb, 2024

基于强化学习的动态公平联邦学习

提出了一种名为 DQFFL 的具有强化学习的动态 q 公平联邦学习算法，旨在通过迭代聚合过程的客户权重分配来缓解联邦学习中设备聚合的差异并提高公平性。实验证明，DQFFL 在整体性能、公平性和收敛速度方面优于现有方法。

Nov, 2023

HiFlash: 具有自适应陈旧度控制和异构感知客户端 - 边缘关联的通信高效分层联合学习

利用 hierarchical federated learning paradigm (HiFL)，基于手机边缘计算和同步客户端 - 边缘模型聚合与异步边缘 - 云模型聚合相结合的方式，显著降低了 WAN 传输的流量，提高了 HiFlash 的系统性能和精度。

Jan, 2023

联邦学习中高效客户端选择的多智能体强化学习方法

本文提出了一种基于 Multi-Agent Reinforcement Learning 的 Federated learning 框架 - FedMarl，该框架不仅可以显著提高模型精度，还能大幅降低处理延迟和通信成本，从而解决了 Federated learning 在实际应用中的训练效率问题。

Jan, 2022

DynamicFL：平衡通信动态和客户端操作的联邦学习

Federated Learning aims to train a global model by utilizing decentralized data, but the highly dynamic networks of edge devices can cause delays and degrade the efficiency of the training process. To address this, DynamicFL is proposed as a novel framework that considers communication dynamics, data quality, and client selection strategies to improve system performance and achieve better model accuracy.

Jul, 2023

多机器人场景中去中心化联邦强化学习

本文提出了一种基于移动代理的方法，在 Webots 中用 Tartarus 来去中心化联邦学习，实现在连接机器人的情况下的去中心化联邦增强学习（dFRL），在基于 Q 学习和 SARSA 的实验中，通过聚集它们对应的 Q 表，证明了在机器人领域使用去中心化联邦学习的可行性。

Jul, 2022

基于动态注意力的通信高效联邦学习

本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

Aug, 2021

面向多无人机协助边缘计算的个性化联邦深度强化学习轨迹优化

在 5G 移动通信时代，研究聚焦于无人机和移动边缘计算技术方面出现了显著增长。本研究提出了一种名为个性化联邦深度强化学习（PF-DRL）的新解决方案，用于多无人机轨迹优化。模拟结果表明，该算法具有更快的收敛速度和改善服务质量，优于其他基于深度强化学习的方法。

Sep, 2023

联邦 Q 学习中异构的优点：线性加速及其它

该论文讨论了利用分布式数据进行在线学习时，采用联邦 Q 学习算法可以在不共享数据的情况下进行合作学习，提出了一种基于重要性加权的平均算法，加速了算法的收敛速度，降低了样本复杂度。

May, 2023