基于锐度感知最小化实现的广义联邦学习
本文提出了一种叫做FedAlign的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的FL方法相当的精度。
Nov, 2021
通过研究损失和Hessian特征谱的几何性质，我们研究了联邦设置中模型的不良性能和泛化失败，发现使用SAM或ASAM本地训练客户端并在服务器端平均随机权重（SWA）可以显着提高FL中的泛化能力并有助于缩小与中央模型的差距，在各种基准视觉数据集和任务上都表现出良好的效果。
Mar, 2022
提出一种联邦学习算法FedSMOO，通过与全局目标的动态正则化和全局Sharpness Aware Minimization（SAM）优化器，以及综合考虑优化和泛化目标，有效提高联邦学习的性能和通用性。
May, 2023
本文提出了一种新的全局模型训练范式FTW-ERM，利用提高密度比匹配方法来处理联邦学习中的客户端内部和客户端间的协变量移位，并提出了与经典ERM在FL中相同隐私保证水平的低通信效率的FITW-ERM变体。理论上表明，在某些情况下，FTW-ERM比经典ERM具有更小的泛化误差。实验结果表明，在具有挑战性的不平衡联邦设置中，FTW-ERM优于现有联邦学习基线，因为数据分布在客户端之间存在移位。
Jun, 2023
提出了一种用于非凸和非平滑联邦学习问题的新型原始-对偶算法，结合双向模型稀疏化和差分隐私，以保证强隐私，通过真实数据上的大量实验验证了该算法的有效性和比某些最先进的联邦学习算法更出色的性能，并验证了所有分析结果和特性。
Oct, 2023
通过在联邦学习中本地估计全局扰动的方向，FedLESAM算法提高了联邦Sharpness-Aware Minimization（SAM）方法的质量和效率。
May, 2024
本研究解决了联邦学习中因参与者数据异质性导致的局部最优发散问题。提出了一种新型联邦学习算法FedTOGA，旨在在保持最小上传通信开销的同时，改善全球和局部的一致性。研究结果表明，FedTOGA在非凸函数下实现了更快的收敛，并在准确性和收敛速度上超越现有最先进算法。
Aug, 2024
本研究解决了联邦学习中的数据异质性问题，特别是局部最优解分歧所导致的收敛效果差。提出了一种新的联邦学习算法FedTOGA，该算法通过将局部扰动与全局更新相连接，改善了全局泛化一致性，并减少了通信开销。研究表明，FedTOGA在非凸函数下实现了更快的收敛性，并在实证研究中获得了更高的准确性和更快的收敛速度。
Aug, 2024
本研究解决了现有差分隐私联邦学习（DPFL）方法在数据异构环境下模型效用严重下降的问题。我们提出了一种新颖的DPFL方法DP$^2$-FedSAM，结合个性化部分模型共享和敏感度感知最小化优化器，有效提高了模型效用，同时保持隐私保护。实验结果表明，该方法在隐私与效用平衡方面优于现有方法，尤其在异构数据设置中表现突出。
Sep, 2024