Nov, 2023

异质数据上的一致性机制联邦学习：收敛性的新视角

PDF
TL;DR在本文中，我们提出了一种名为 FedCOME 的共识机制，通过在服务器端对客户端的梯度进行微调，保证了每轮训练后每个客户端的风险减少；我们还设计了一种新的客户端采样策略，将共识机制推广到部分参与的联邦学习场景，有效地减少了未被选中的客户端的风险。通过在四个基准数据集上进行广泛实验证明了 FedCOME 在效果、效率和公平性方面优于其他最先进的方法。
federated learningheterogeneous dataconsensus mechanismrisk decreaseclient sampling strategy
发现论文，激发创造
  • 部分参与下加速混合联邦学习的收敛

    本文提出了一种名为 FedCLG 的新算法，它可以在类似于混合 FL 的情形下防止部分参与的限制，同时保护客户隐私并实现模型聚合。数值实验表明，该算法胜过现有方法。

    Apr, 2023

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

    Nov, 2021

  • 每个参数都很重要：确保联邦学习与动态异构模型的收敛性

    通过在线模型提取，本文提出了一个统一的异构联邦学习算法框架，并进行了一般性的收敛性分析，证明了在某些充分条件下，这些算法对于标准异构联邦学习的一般光滑成本函数会收敛于一个静止点。此外，还阐明了影响收敛的两个关键因素：模型提取噪音和最小覆盖指数，强调了局部模型提取的联合设计在高效异构联邦学习中的重要性。

    Oct, 2023

  • 原型有助于联邦学习：朝着更快的收敛方向

    该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

    Mar, 2023

  • 假装直到实现：以共识为导向的联邦学习

    通过联邦生成一致性（FedCOG）方法，生成与原始数据集补充相符的数据以减少数据异质性，并通过知识蒸馏模型训练来提高性能。

    Dec, 2023

  • 异构和相关客户端的联邦学习

    本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

    Jan, 2023

  • 个性化生成网络的异构联邦学习

    通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

    Aug, 2023

  • 联邦学习中的本地适应性：收敛和一致性

    本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

    Jun, 2021

  • 联邦学习中的线性收敛问题：应对客户端异质性和稀疏梯度

    本文提出了 FedLin 框架来应对分布式学习中的目标异质性、系统异质性和不频繁不准确的通信挑战，当客户端的本地损失函数是光滑且强凸的时，FedLin 保证线性收敛并最终收敛到全局最小点，并且在压缩比例下仍然保持线性收敛速度。

    Feb, 2021

  • 解决联邦学习中的计算异构性：几个理论思路

    机器学习的未来在于边缘计算，用于数据收集和训练，联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架，用于解决联邦优化中的计算异构性问题，包括异构数据和本地更新，并从理论和实验的角度进行了广泛的分析。

    Jul, 2023