May, 2024

异构数据上连续联合学习的尖锐界限

PDF
TL;DR对于异构数据上的序列联邦学习 (SFL) 的收敛理论尚缺乏解决方案，本研究通过建立上下界，针对强凸、一般凸和非凸目标函数分别得出上界，以及匹配的强凸和一般凸目标函数的下界，将 SFL 的上界与平行联邦学习 (PFL) 的上界进行对比，结果表明在高度异构的情况下，SFL 较 PFL 表现更出色，并通过二次函数和真实数据集的实验结果验证了这一反直觉的比较结果。
federated learningparallel flsequential flconvergence theoryheterogeneous data
发现论文，激发创造
  • 异构数据上顺序联邦学习的收敛性分析

    本文研究了联邦学习（FL）方法中两种类别：并行 FL（PFL）和顺序 FL（SFL）。对于异构数据上的顺序 FL，相比并行 FL，其收敛理论仍然欠缺。本文建立了异构数据上强烈 / 一般 / 非凸目标的顺序 FL 的收敛保证。实验结果验证了在跨设备环境中，对于极度异构数据，SFL 优于 PFL 的非直观分析结果。

    Nov, 2023

  • 异构数据下分裂联邦学习的收敛分析

    对于高度异构的数据，在并行联邦式 DE in the literature, and this paper aims to fill this gap. The analysis of SFL can be more challenging than that of federated learning (FL), due to the potential dual-paced updates at the clients and the main server. We provide convergence analysis of SFL for strongly convex and general convex objectives on heterogeneous data.

    Feb, 2024

  • 联邦学习中的线性收敛问题：应对客户端异质性和稀疏梯度

    本文提出了 FedLin 框架来应对分布式学习中的目标异质性、系统异质性和不频繁不准确的通信挑战，当客户端的本地损失函数是光滑且强凸的时，FedLin 保证线性收敛并最终收敛到全局最小点，并且在压缩比例下仍然保持线性收敛速度。

    Feb, 2021

  • 增强本地模型多样性的非独立同分布数据的一次性连续联邦学习

    通过提出一种局部模型多样性增强策略，我们改进了非独立同分布（non-IID）数据下的一次性序列联邦学习，从而提高了全局模型的性能并保持低通信成本。

    Apr, 2024

  • 基于分组串并训练的异构联邦学习

    本论文提出了一个数据异构鲁棒的联邦学习方法 ——FedGSP，该方法使用动态序列 - 并行协作训练的新概念，通过将 FL 客户端分配到同质组中最小化组与组之间的整体分布差异，增加并行度并通过一种新颖的 Inter-Cluster Grouping (ICG) 算法来辅助分配，该算法利用重心等价定理简化 NP 难问题，实验结果表明 FedGSP 相比七种现有方法平均提高了 3.7％的准确率，并将训练时间和通信成本降低了 90％以上。

    Jan, 2022

  • 每个参数都很重要：确保联邦学习与动态异构模型的收敛性

    通过在线模型提取，本文提出了一个统一的异构联邦学习算法框架，并进行了一般性的收敛性分析，证明了在某些充分条件下，这些算法对于标准异构联邦学习的一般光滑成本函数会收敛于一个静止点。此外，还阐明了影响收敛的两个关键因素：模型提取噪音和最小覆盖指数，强调了局部模型提取的联合设计在高效异构联邦学习中的重要性。

    Oct, 2023

  • 当 MiniBatch SGD 遇上 SplitFed Learning：收敛性分析与性能评估

    提出了 MiniBatch-SFL 算法，通过将模型在切割层处分为两部分，在减轻客户端设备的计算负载的同时解决了分布式学习中的客户端偏移问题。实验证明，相对于传统的 SFL 和 FL 方法，MiniBatch-SFL 在高度非独立同分布数据上的准确性提升分别可达 24.1% 和 17.1%。

    Aug, 2023

  • 有效的半监督异构参与者联邦学习

    在资源受限环境中，通过介绍聚类正则化和全局更新频率适应的控制算法，我们提出了一种新的训练模型系统，用于解决联合学习中的数据非独立同分布和模型收敛性问题，该系统在减少训练时间和通信成本的同时提高了准确性。

    Jul, 2023

  • 基于量化的分层联邦学习：收敛分析与系统设计

    本文针对分层联邦学习问题，引入神经网络量化，提出了一种更加严格的收敛界限，优化客户端和边缘云多级聚合策略，同时借助仿真结果验证了策略的有效性。

    Mar, 2021

  • 异构联邦学习的稳健模型聚合：分析与优化

    通过引入时间驱动的异步聚合策略，以及使用区分性模型选择算法，提出了一种针对异构系统的同步联邦学习框架，该框架在提高系统效率和鲁棒性的同时，实现了对传统同步联邦学习的延迟减少 50% 和学习准确性平均提高 3% 的改进。

    May, 2024