Jun, 2023

具有本地超梯度估计的联邦多序列随机逼近

PDF
TL;DR通过开发 FedMSA，我们着手开展了 Federated Stochastic Approximation With Multiple Coupled Sequences (MSA) 的算法问题，该算法问题被广泛应用于机器学习，并且在 BLO、MCO 和强化学习（特别是演员 - 评论家方法）中包含了丰富的问题类，我们还演示了 FedMSA 的实验效果，并且相对于先前的联邦 BLO 方案，我们的算法在通信轮数上实现了数量级的节省。
stochastic approximationfederated learningbilevel optimizationmulti-level compositional optimizationactor-critic methods
发现论文，激发创造
  • SCAFFLSA: 量化和消除联邦式线性随机逼近和时序差异学习中的异质性偏差

    本文对联邦线性随机逼近（FedLSA）算法进行了非渐进分析，定量化了异质代理的本地训练引入的偏差，并调查了算法的样本复杂度。我们展示了 FedLSA 的通信复杂度与所需精度 ε 的多项式缩放，从而限制了联邦的好处。为了克服这一问题，我们提出了 SCAFFLSA，这是 FedLSA 的一种新变体，它使用控制变量来校正本地训练的偏差，并证明其在统计异质性方面没有假设的收敛性。我们将所提出的方法应用于使用线性函数逼近的联邦时序差异学习，并分析了相应的复杂度改进。

    Feb, 2024

  • 基于随机逼近的联邦机器学习方法

    本论文研究了在随机逼近框架中的联邦学习（FL）。FL 是一种协作方式，可以在各个参与方或客户端之间训练神经网络模型，而不需要将它们的数据集中。每个客户端将在其相应数据上训练模型，并定期将权重发送至服务器进行聚合。服务器聚合这些权重，由客户端使用来重新初始化其神经网络并继续训练。该论文利用随机逼近迭代来更新客户端神经网络的权重，并展示了聚合权重跟踪自主 ODE。通过数值模拟并与 FedAvg 和 FedProx 等标准算法进行比较，观察到该算法具有鲁棒性，在客户端数据不完全相同时给出更可靠的权重估计。

    Feb, 2024

  • 联邦条件随机优化

    这篇论文提出了第一个联邦条件随机优化算法（FCSG），它使用条件随机梯度估计器和基于动量的算法（FCSG-M）来解决联邦学习中的非凸条件随机优化问题。通过方差减少设计了一种加速算法（Acc-FCSG-M），以达到最佳样本和通信复杂度， 并在不同任务上的广泛实验结果验证了这些算法的效率。

    Oct, 2023

  • FedNest: 联邦双层、极小极大和组合优化

    本文提出了一种名为 edblo 的联邦交替随机梯度方法，用于解决复杂的嵌套双层规划问题，并在异构数据情况下建立了收敛性分析，同时提出了多种升级方法，包括联邦超梯度计算和方差缩减，实验结果表明其在超参和超表示学习和最小化最大化规划中具有实际效益。

    May, 2022

  • 联邦多任务学习

    本文研究了在分布式设备网络上训练机器学习模型所面临的统计和系统挑战，提出了一种适用于多任务学习的优化方法 MOCHA，并在考虑通信成本、慢设备和容错性等实际系统问题的前提下，实现了比替代方法更显著的加速效果。

    May, 2017

  • FedSSA: 基于语义相似性的聚合方法用于高效异构模型个性化联邦学习

    提出了一种名为 Federated Semantic Similarity Aggregation (FedSSA) 的方法，利用语义相似性来实现 FL 中的知识传递，同时通过自适应参数稳定策略实现全局到局部的知识传输，从而实现更高的准确性、通信效率和计算效率。

    Dec, 2023

  • 基于动量方差缩减的局部随机双层优化

    本文研究分布式环境下的联邦双层优化问题，并针对性地提出了 FedBiO 和 FedBiOAcc 两种优化算法，用于解决团体公平的联邦学习任务，数值实验表明，与其他基线算法相比，该算法在性能上表现更优。

    May, 2022

  • FedMS: 带有稀疏激活基模型的联邦学习

    提出了一种名为 FedMS 的新型两阶段联邦学习算法，使用全局专家和本地专家构建混合基准模型（MoFM），设计了一个门控神经网络插入门适配器来在第二阶段的每一轮通信中进行聚合，并使用一种新型 SAL 算法来适应具有有限计算资源的边缘计算场景，实验证明 FedMS 在默认设置下超过其他 SOTA 基准模型的性能达到 55.25% 的提升。

    Dec, 2023

  • 移动联邦学习网络的多层客户端选择

    提出了一种称为 SocFedCS 的新的基于 Lyapunov 优化的优化客户端选择方案，其通过信任网络在移动联邦学习网络中最小化成本并训练高质量的联邦学习模型，在四个真实世界的多媒体数据集上的实验表明，它的平均测试准确率比最佳基线高 2.06％，成本低 12.24％。

    May, 2023

  • 基于分组串并训练的异构联邦学习

    本论文提出了一个数据异构鲁棒的联邦学习方法 ——FedGSP，该方法使用动态序列 - 并行协作训练的新概念，通过将 FL 客户端分配到同质组中最小化组与组之间的整体分布差异，增加并行度并通过一种新颖的 Inter-Cluster Grouping (ICG) 算法来辅助分配，该算法利用重心等价定理简化 NP 难问题，实验结果表明 FedGSP 相比七种现有方法平均提高了 3.7％的准确率，并将训练时间和通信成本降低了 90％以上。

    Jan, 2022