Feb, 2024

基于随机逼近的联邦机器学习方法

PDF
TL;DR本论文研究了在随机逼近框架中的联邦学习（FL）。FL 是一种协作方式，可以在各个参与方或客户端之间训练神经网络模型，而不需要将它们的数据集中。每个客户端将在其相应数据上训练模型，并定期将权重发送至服务器进行聚合。服务器聚合这些权重，由客户端使用来重新初始化其神经网络并继续训练。该论文利用随机逼近迭代来更新客户端神经网络的权重，并展示了聚合权重跟踪自主 ODE。通过数值模拟并与 FedAvg 和 FedProx 等标准算法进行比较，观察到该算法具有鲁棒性，在客户端数据不完全相同时给出更可靠的权重估计。
federated learningstochastic approximationneural network modelsaggregationode
发现论文，激发创造
  • 在线拉普拉斯近似贝叶斯联邦学习框架

    本文提出了一种使用 Laplace 近似方法的联邦学习框架，其中使用多元高斯乘积机制构建并最大化全局概率分布，区分客户端之间的巨大差异，在客户端使用全局后验概率参数，通过学习约束减少了本地选择性遗忘，并在多个基准测试中实现了最先进的结果。

    Feb, 2021

  • 异构和相关客户端的联邦学习

    本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

    Jan, 2023

  • 加速半异步联邦学习

    传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

    Feb, 2024

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • 联邦学习中的近似加权数据重构攻击

    水平联邦平均（FedAvg）中的参数攻击问题可以通过我们提出的插值近似方法和层次加权损失函数来解决，实验证明我们的方法在图像数据重建方面具有明显的改进。

    Aug, 2023

  • 异步无线联邦学习与概率客户端选择

    通过联邦学习解决异步模式下的执行阻塞问题，提出利用概率选择客户端和带宽分配来优化异步联邦学习的收敛速度和移动能源消耗的问题，并通过实验验证了该方法的优越性。

    Nov, 2023

  • 异步多服务器联邦学习用于地理分布式客户端

    提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

    Jun, 2024

  • 带自适应调参客户端的联邦学习

    提出了一种名为 Delta-SGD 的算法用于优化联邦学习模型中的超参数，该算法能够在各个客户端之间自适应优化不同的参数，实验结果表明，该算法可以在不需要额外调整的情况下，在 73% 的实验中达到 TOP-1 准确度，在 100% 的实验中达到 TOP-2 准确度。

    Jun, 2023

  • 预处理联邦学习

    在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

    Sep, 2023