Jun, 2023

联邦学习：你可能不必频繁通信！

PDF
TL;DR本文研究了联邦学习模型的泛化误差，通过 PAC-Bayes 和速率失真理论对其进行了分析，发现在联邦学习中客户端和参数服务器通信的轮数会影响泛化误差，并且在应用于 FSVM 时，泛化误差随着轮数增加而增加，因此需要优化轮数以减小 FL 算法的总体风险。
发现论文，激发创造
  • 联邦学习中更多的通信量不会导致更小的泛化误差

    该研究针对联邦学习中的统计学习模型的普适性误差进行了研究，讨论了模型聚合的轮次对最终聚合模型的影响，并且提出了通过优化选择合适的聚合轮次来减少总体风险的可能性。

    Apr, 2023

  • 通信高效联邦学习的改进推广界限

    本文通过探索泛化界限和表示学习来减少联邦学习的通信成本，首次展示了在非独立同分布的情况下，更少的聚合次数，更多的本地更新可产生更具一般化能力的模型，设计了基于泛化界限和表示学习分析的自适应本地步骤联邦学习算法 FedALS，通过对模型不同部分采用不同的聚合频率来降低通信成本，并通过实验结果证明了 FedALS 的有效性。

    Apr, 2024

  • 联邦学习中泛化错误和隐私泄漏的信息理论界限

    这篇论文提供了针对分布式学习、联邦学习和经典机器学习的信息理论框架，同时研究了这些学习范式中的一般化误差和隐私泄露的上下界限制。

    May, 2020

  • 基于最优客户端采样的通信高效联邦学习

    本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

    Jul, 2020

  • 信息论分布多元化实现联邦泛化

    我们的论文提出了一种信息论的泛化框架来解决联邦学习中的分布不一致问题，并通过引入加权聚合方法和客户端选择策略来增强泛化能力。

    Oct, 2023

  • 风险厌恶参与反馈下的联邦学习目标导向通信

    本文研究了基于联邦学习（FL）的客户端选择问题，考虑了参与者的风险规避性质，提出了一种面向目标的通信问题，用于获得具有高通信效率的性能。它可用于制定本地传输策略，从而提高传输效率，并通过处理 PS 反馈，并评估其在培训学习模型方面的贡献，从而降低设备间的连接数。模拟结果表明，相较于基线方案，该方法最多可以提高 1.4 倍的通信链路利用率。

    May, 2023

  • FedSpeed: 更大的本地间隔，更少的通信轮次，更高的泛化准确性

    本文提出了 FedSpeed 方法，通过应用 prox-correction term 和混合随机梯度下降和额外梯度上升步骤的扰动方法，解决了分布式学习框架中由于本地不一致的最优和过度拟合引起的非消失偏差问题。实验表明 FedSpeed 在真实数据集上的效率显著快于几种基线算法，并实现了最先进的性能。

    Feb, 2023

  • 带有错误通信链路的联邦学习

    本文考虑了在存在通信误差的联邦学习问题，将设备与中央节点 (CN) 之间的链接建模为一个数据包抹除信道，证明了在通信障碍存在的情况下，当 CN 从某个设备没有接收到最新数据时，利用过去的本地更新的 FL 算法与没有任何通信障碍的 FL 算法会收敛到相同的全局参数。此外，我们还提供了一些模拟结果来验证理论分析，同时表明在数据集均匀分布于设备的情况下，只使用最新更新并丢弃缺失更新的 FL 算法可能比使用过去本地更新的 FL 算法更快地收敛。

    Jan, 2022

  • 面向用户的联合学习：以个性化为代价进行无线资源交换

    本文设计了以用户为中心的聚合规则，基于可用的梯度信息，为每个联邦学习客户端生成个性化模型，并得出了一种课通信高效的变体，以优于流行的个性化联邦学习基线的平均正确性，最差节点性能和训练通信开销。

    Apr, 2023

  • 通过稳定性理解联邦学习的泛化：异质性很重要

    本文针对联邦学习中算法稳定性的概念，研究了 FedAvg、SCAFFOLD 和 FedProx 在凸性和非凸性损失函数下的通用性能，并探讨了客户端数据的异质性和算法收敛行为对模型通用性能的影响。

    Jun, 2023