AAAIDec, 2022

FedALA：用于个性化联邦学习的自适应本地聚合

PDF
TL;DR本文提出了一种改进的联邦学习方法 ——FedALA，通过 Adaptive Local Aggregation (ALA) 模块，适应性地聚合下载的全局模型和本地模型，初始化每个客户端上的本地模型，并进行训练，实验结果表明，FedALA 在计算机视觉和自然语言处理等五个基准数据集上超过了 11 种现有技术的 baselines，提高了最高达 3.27％的测试准确性，同时我们还将 ALA 模块应用于其他联邦学习方法，实现了最高达 24.19％的测试准确性提高。
发现论文，激发创造
  • 解决数据异构的无聚合联邦学习

    FedAF 是一种不需要数据聚合的联邦学习算法，通过协作学习来减少数据异质性导致的客户端漂移问题，提高全局模型准确性和收敛速度

    Apr, 2024

  • 本地注意力的个性化联邦学习

    在联邦学习中，为了解决不同客户端的局部数据异构性所带来的性能下降问题，提出了一种名为 pFedLA 的简单而有效的算法，该算法通过将关注机制纳入客户端的个性化模型，并保持关注块客户化，从而在任何联邦学习方法中提高其性能。

    Apr, 2023

  • 面向目标领域泛化的联邦主动学习

    该论文介绍了 Active Learning 和 Federated Learning 的联合学习框架 FEDALV，用于目标域广义化，通过减少特征复杂性和条件对齐来实现准确且高效的图像分类模型训练。

    Dec, 2023

  • FedCAda：面向加速和稳定的联邦学习的自适应客户端优化

    FedCAda 是一种创新的联邦客户自适应算法，利用 Adam 算法在客户端调整一阶矩估计 $m$ 和二阶矩估计 $v$ 的修正过程，并在服务器端聚合自适应算法参数，以加快收敛速度和通信效率，同时确保稳定性和性能，该算法在计算机视觉（CV）和自然语言处理（NLP）数据集上的广泛实验表明，它在适应性、收敛性、稳定性和整体性能方面优于现有方法。

    May, 2024

  • 资源受限异步联邦学习系统中的降低系统偏差

    在非同步聯邦學習 (AFL) 的部署中，我們提出一種動態全球模型聚合方法，以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整，以適應設備能力的差異。此外，我們在客戶端上傳本地模型後立即提供更新的全球模型，以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法，這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示，與最先進的方法 PAPAYA 和 FedAsync 相比，全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練，從而提高了現實世界的 FL 部署的韌性和可擴展性。

    Jan, 2024

  • 自适应个性化联邦学习

    本文提出了一种自适应个性化联邦学习算法，采用局部和整体模型混合的方法来提高模型的个性化能力，并使用通信高效的最优化方法来协同学习个性化模型，实验证明了该算法的有效性与泛化理论的正确性。

    Mar, 2020

  • 基于动态注意力的通信高效联邦学习

    本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

    Aug, 2021

  • 联邦学习中的本地适应性：收敛和一致性

    本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

    Jun, 2021

  • 通过本地适配挽救联合学习

    针对联邦学习中参与者局部利益与数据准确度不匹配的问题，本文提出并比较了三种本地适应技术，并指出差分隐私和鲁棒聚合恶化了联邦模型的准确性。这三种技术分别为：微调、多任务学习和知识蒸馏。我们的实验结果表明，所有参与者都从本地适应中受益，并且本地模型表现不佳的参与者通过传统联邦方式得到了大幅提升。

    Feb, 2020

  • FedL2P：个性化联邦学习

    该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

    Oct, 2023