Jul, 2020

解决异构联邦优化中的目标不一致问题

PDF
TL;DR本文为联邦异构优化提供了一个通用的框架，分析了算法的收敛性，解决了不同本地数据集和计算速度引起的目标不一致性问题，并提出了 FedNova 方法，实现了快速错误收敛并消除了目标不一致性。
federated optimizationheterogeneityconvergenceobjective inconsistencyfednova
发现论文，激发创造
  • 异构网络中的联邦优化

    本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

    Dec, 2018

  • 关于异构数据下联邦平均的非常高效性

    这篇论文解释了之前理论预测与实际表现矛盾的问题，发现数据异质性对于 FedAvg 算法的收敛效率影响要小于之前理论预测，通过引入新的指标（即平均漂移值）重新理论分析 FedAvg 算法，发现其在实际应用中的表现能够和同构的数据集一样并获得了成功。

    Jun, 2022

  • 通过梯度多样性最大化解决联邦优化的混合异质性问题

    研究了混合异构性如何影响联邦优化，通过调查服务器端优化表明，自适应地最大化梯度多样性在服务器更新方向上可以帮助缓解混合异构性的潜在负面影响，引入了具有理论保证的新型基于梯度的优化器 FedAWARE，通过在异构联邦设置中进行大量实验表明，我们的提议优化器可以显著提升不同程度的混合异构性下联邦学习的性能。

    Oct, 2023

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • WeiAvg: 促进数据多样性的联邦学习模型聚合

    本文提出了一种新颖方法 - WeiAvg，利用投影估计方法来估计客户端数据的多样性，从高多样性客户端强调权重更新，减少低多样性客户端的影响，实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx，能更快、更准确的达到收敛。

    May, 2023

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • 解决联邦学习中的算法差异和性能不一致

    本文提出了一种基于多目标优化的联邦学习框架，通过优化一个最大替代函数将不同本地客户端（数据源）的算法公平性和一致性纳入考虑，以实现最优解的 Pareto 优化来实现公平性和一致性。

    Aug, 2021

  • 恶意客户端不在线情况下的联邦学习

    本文研究了非结构化和基于强凸全局目标的联邦学习中，面向恶意客户端不可用性问题的简单算法，发现简单的 FedAvg 或 FedProx 算法在不考虑该问题的情况下，能够达到最小化的估计误差并具有收敛速度。经过对合成和真实世界数据集的数值实验验证了理论分析的正确性。

    May, 2023

  • 通过后验平均实现联邦学习：一个新的视角和实用算法

    以后验推断方法为基础的联邦学习算法可以通过在客户端推断本地数据的后验分布来推断全局后验分布，而 FedPA 则提供了一种计算和通信高效的近似后验推断算法，使用 MCMC 进行客户端的近似推断。

    Oct, 2020

  • 带有公平平均的联邦学习

    本文探讨联邦学习中不公平性的问题，提出了解决方案 ——FedFV 算法，并且基于余弦相似性检测梯度冲突，在梯度平均之前消除这些冲突。实验证明，FedFV 在公平性、准确性和效率方面比现有方法表现更好，并能收敛于 Pareto 稳态解。

    Apr, 2021