May, 2024

FedCAda：面向加速和稳定的联邦学习的自适应客户端优化

HTML
PDF
TL;DRFedCAda是一种创新的联邦客户自适应算法，利用Adam算法在客户端调整一阶矩估计$m$和二阶矩估计$v$的修正过程，并在服务器端聚合自适应算法参数，以加快收敛速度和通信效率，同时确保稳定性和性能，该算法在计算机视觉（CV）和自然语言处理（NLP）数据集上的广泛实验表明，它在适应性、收敛性、稳定性和整体性能方面优于现有方法。
发现论文，激发创造
  • 自适应联邦优化

    本研究提出了联邦学习的自适应优化方法，包括Adagrad，Adam和Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

    Feb, 2020

  • 基于动态注意力的通信高效联邦学习

    本文提出了一种自适应训练算法AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于FedAvg算法，AdaFL算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

    Aug, 2021

  • AdaBest: 通过自适应偏差估计实现联邦学习中最小化客户端漂移

    本文提出了一种自适应算法，用于准确估计联邦学习中客户端间的漂移，并通过约束漂移估计的范数使联邦学习更实际，并实验结果表明所提出的算法在各种联邦学习基准中更快达到收敛并实现更高的准确性。

    Apr, 2022

  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022

  • FedGrad: 分散式機器學習中的優化

    本文介绍联邦学习作为一种分布式机器学习方法，提出自适应联邦优化算法和其他一些想法，并通过实验展示了在性能上的改进。

    Nov, 2022

  • 带自适应调参客户端的联邦学习

    提出了一种名为Delta-SGD的算法用于优化联邦学习模型中的超参数，该算法能够在各个客户端之间自适应优化不同的参数，实验结果表明，该算法可以在不需要额外调整的情况下，在73%的实验中达到TOP-1准确度，在100%的实验中达到TOP-2准确度。

    Jun, 2023

  • 面向实例自适应的联邦学习推理

    该论文提出了一种新颖的FL算法（FedIns）来处理FL框架中的内部客户数据异质性，并通过在FL框架中实现实例自适应推理来减少内部客户和跨客户之间的异质性，实验证明FedIns在Tiny-ImageNet上比现有FL算法表现更好（多于6.64%的性能提升，且通信成本不到15%），代码和模型将在公开发布。

    Aug, 2023

  • FedLALR：面向客户端的自适应学习速率实现非独立同分布数据的线性加速

    我们提出了一种名为FedLALR的异构本地AMSGrad变体，该方法通过基于本地历史梯度平方和同步学习率来调整每个客户端的学习率，理论分析表明我们的方法具有良好的收敛性和与客户端数量线性加速，这为联邦优化提供了可扩展性。我们还通过与其他几种通信高效的联邦优化方法进行了实证比较，在计算机视觉和自然语言处理任务上的广泛实验结果显示我们提出的FedLALR方法的有效性，并与我们的理论发现相吻合。

    Sep, 2023

  • 利用自由客户在联邦学习中进行模型增强

    FedALIGN是一种选择参与联邦学习的非优先客户的匹配策略，基于他们的模型损失与全局数据的相似程度，以确保只有在对优先客户有益时才使用非优先客户的梯度，从而实现非优先客户的加入动机和优先客户的资源利用，且在各种合成和基准数据集上展示出更快的收敛速度和更高的测试准确性。

    Oct, 2023

  • 基于动态更新和自适应修剪的高效联邦学习

    本研究解决了联邦学习中的训练效率低和计算资源有限的问题。提出的FedDUMAP框架通过动态服务器更新、全局动量优化和层自适应修剪三种新颖方法，提高了模型训练的效率和准确性。实验表明，FedDUMAP在效率、准确性和计算成本上均显著优于传统方法。

    Aug, 2024