IJCAIAug, 2021

基于动态注意力的通信高效联邦学习

PDF
TL;DR本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。
federated learningdata privacynon-iidadaptive training algorithmcommunication efficiency
发现论文，激发创造
  • DynamicFL：平衡通信动态和客户端操作的联邦学习

    Federated Learning aims to train a global model by utilizing decentralized data, but the highly dynamic networks of edge devices can cause delays and degrade the efficiency of the training process. To address this, DynamicFL is proposed as a novel framework that considers communication dynamics, data quality, and client selection strategies to improve system performance and achieve better model accuracy.

    Jul, 2023

  • FedCAda：面向加速和稳定的联邦学习的自适应客户端优化

    FedCAda 是一种创新的联邦客户自适应算法，利用 Adam 算法在客户端调整一阶矩估计 $m$ 和二阶矩估计 $v$ 的修正过程，并在服务器端聚合自适应算法参数，以加快收敛速度和通信效率，同时确保稳定性和性能，该算法在计算机视觉（CV）和自然语言处理（NLP）数据集上的广泛实验表明，它在适应性、收敛性、稳定性和整体性能方面优于现有方法。

    May, 2024

  • 动态采样与选择性遮蔽：用于高效通信的联合学习

    本研究通过动态采样和 Top-K 选择性掩蔽这两种方法，提高了联邦学习的通信效率，并在公共数据集上进行实验，证明了该方法的有效性。

    Mar, 2020

  • 加速半异步联邦学习

    传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

    Feb, 2024

  • 自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

    本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。

    Nov, 2020

  • 基于最优客户端采样的通信高效联邦学习

    本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

    Jul, 2020

  • 本地注意力的个性化联邦学习

    在联邦学习中，为了解决不同客户端的局部数据异构性所带来的性能下降问题，提出了一种名为 pFedLA 的简单而有效的算法，该算法通过将关注机制纳入客户端的个性化模型，并保持关注块客户化，从而在任何联邦学习方法中提高其性能。

    Apr, 2023

  • AdaFed：自适应共同下降方向的公平联邦学习

    AdaFed 是一种解决联邦学习中公平性问题的方法，通过自适应地调整服务器的更新方向，使所有客户端的损失函数递减，并且具有更高损失值的客户端的损失函数递减速度更快，从而优于最先进的公平联邦学习方法。

    Jan, 2024

  • 加速联邦学习的高效数据分配估计

    在大规模 FL 环境中，本研究旨在研究客户端选择算法的开销，并提出一种高效的数据分布摘要计算算法来减少开销。评估结果显示，我们的解决方案在数据摘要时间上能够实现 30 倍的降低，聚类时间上能够实现 360 倍的降低。

    Jun, 2024

  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022