Aug, 2024

支持邻域和全局扰动的联邦学习中的SAM：从局部调节到全局意识

HTML
PDF
TL;DR本研究解决了联邦学习中的数据异质性问题，特别是局部最优解分歧所导致的收敛效果差。提出了一种新的联邦学习算法FedTOGA，该算法通过将局部扰动与全局更新相连接，改善了全局泛化一致性，并减少了通信开销。研究表明，FedTOGA在非凸函数下实现了更快的收敛性，并在实证研究中获得了更高的准确性和更快的收敛速度。
发现论文，激发创造
  • 联邦学习中的线性收敛问题：应对客户端异质性和稀疏梯度

    本文提出了FedLin框架来应对分布式学习中的目标异质性、系统异质性和不频繁不准确的通信挑战，当客户端的本地损失函数是光滑且强凸的时，FedLin保证线性收敛并最终收敛到全局最小点，并且在压缩比例下仍然保持线性收敛速度。

    Feb, 2021

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做FedAlign的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的FL方法相当的精度。

    Nov, 2021

  • 通过寻求平坦的极小值改善联邦学习的泛化能力

    通过研究损失和Hessian特征谱的几何性质，我们研究了联邦设置中模型的不良性能和泛化失败，发现使用SAM或ASAM本地训练客户端并在服务器端平均随机权重（SWA）可以显着提高FL中的泛化能力并有助于缩小与中央模型的差距，在各种基准视觉数据集和任务上都表现出良好的效果。

    Mar, 2022

  • 基于锐度感知最小化实现的广义联邦学习

    本文提出了一种名为FedSAM的基于Sharpness Aware Minimization (SAM)本地优化器的泛化学习算法，以解决FL中的数据异构性问题，并在理论上证明了其几何级数的收敛性和泛化边界。在实证方面，我们的算法大大优于现有FL研究并显著降低了学习偏差。

    Jun, 2022

  • FedFOR: 无状态异构联邦学习与一阶正则化

    本文提出了一种基于分布式学习的新型算法，能够针对数据异质性问题，有效避免因数据分布不同而导致的本地数据更新差异性，提高模型的全局收敛性和学习效率。与现有算法不同，该算法不需要维护全局状态，适用于任意数量的客户端，能够用于网络边缘设备和移动应用等更典型的应用场景。

    Sep, 2022

  • 在客户端差分隐私下实现更平缓的模型优化路径和更好的泛化效果的联邦学习

    通过梯度扰动和局部平坦模型来提高权重扰动鲁棒性和性能，进而减少感知信息泄露，DP-FedSAM算法在DPFL中达到最先进的性能。

    May, 2023

  • 联邦学习中动态正则化的锐度感知极小化：接近全局一致性和光滑地形

    提出一种联邦学习算法FedSMOO，通过与全局目标的动态正则化和全局Sharpness Aware Minimization（SAM）优化器，以及综合考虑优化和泛化目标，有效提高联邦学习的性能和通用性。

    May, 2023

  • FedSoL: 在联合学习中桥接全球对齐和本地通用性

    通过结合全局对齐和局部普遍性的概念，我们提出了名为FedSoL的联邦稳定学习方法，该方法在寻求抵御邻近扰动的参数区域时，既可维持原始局部目标进行参数更新，又能在局部学习中引入一种隐式的邻近限制效果。进行了一系列实验表明，FedSoL在各种场景下始终保持最先进的性能。

    Aug, 2023

  • 局部估计的全局扰动优于本地扰动的联邦锐度感知最小化

    通过在联邦学习中本地估计全局扰动的方向，FedLESAM算法提高了联邦Sharpness-Aware Minimization（SAM）方法的质量和效率。

    May, 2024

  • 邻域与全球扰动支持的联邦学习中的SAM：从局部调整到全球意识

    本研究解决了联邦学习中因参与者数据异质性导致的局部最优发散问题。提出了一种新型联邦学习算法FedTOGA，旨在在保持最小上传通信开销的同时，改善全球和局部的一致性。研究结果表明，FedTOGA在非凸函数下实现了更快的收敛，并在准确性和收敛速度上超越现有最先进算法。

    Aug, 2024