FedBRB：设备异构联邦学习中小到大场景的有效解决方案

Feb, 2024

FedBRB：设备异构联邦学习中小到大场景的有效解决方案

FedBRB: An Effective Solution to the Small-to-Large Scenario in Device-Heterogeneity Federated Learning

Ziyue Xu, Mingfeng Xu, Tianchi Liao, Zibin Zheng, Chuan Chen

TL;DR最近，大型模型的成功展示了扩大模型规模的重要性，这在联邦学习的视角下激发了对大规模模型的协同训练的兴趣。由于计算约束，许多机构在本地训练大规模模型时面临困难。因此，只使用较小的本地模型训练更大的全局模型已成为重要的场景。尽管最近的设备异构联邦学习方法开始探索此领域，但它们在完全覆盖全局模型的参数空间方面存在局限性。本文提出了一种基于块概念的方法 FedBRB（块级滚动和加权广播）。FedBRB 可以使用小型本地模型训练大型全局模型的所有块，并将训练参数广播到整个空间以实现更快的信息交互。实验表明 FedBRB 在此场景中取得了显著的性能提升，达到了最先进的结果。此外，仅使用较小的本地模型的 FedBRB 甚至可以超越使用较大本地模型的基线。

Abstract

Recently, the success of large models has demonstrated the importance of scaling up model size. This has spurred interest in exploring collaborative training of large-scale models from federated learning perspect

scaling up model size collaborative training federated learning small-to-large scenario fedbrb

发现论文，激发创造

快速收敛联邦学习

本文提出了一种快速收敛的联合学习算法 FOLB，通过智能抽样优化模型训练速度，处理设备的通信和计算异质性，实验结果改善了训练模型的准确率、收敛速度和稳定性。

Jul, 2020

本地思考，全球行动：具备本地和全局表示的联邦学习

通过在设备上联合学习一种新的联邦学习算法，可以通过仅传递参数来训练全局模型，从而保持设备数据的私密性，这可以减少通信参数的数量并降低数据方差和设备分布差异，同时兼顾对隐私和公平性的要求。

Jan, 2020

具有类别不平衡减少的联邦学习

用于解决联邦学习中数据隐私问题导致的设备端数据无法被中心服务器使用的问题，本文提出了一种基于估计方案的设备选择算法，以最小化类别不平衡来提高联邦学习全局模型的收敛性能。

Nov, 2020

BRFL: 基于区块链的拜占庭容错型联邦学习模型

基于区块链的拜占庭 - 稳健联邦学习 (BRLF) 模型通过与区块链技术的结合，解决了联邦学习中的资源消耗问题，并在公共数据集上验证了我们安全聚合算法相对于其他基线算法在抗拜占庭攻击方面的优越性，证明了我们提出的模型的有效性。

Oct, 2023

FedBE：将贝叶斯模型集成应用于联合学习

本文提出一种名为 FedBE 的基于贝叶斯推理的聚合算法，将局部模型聚合成全局模型，使得在非独立同分布数据和深度神经网络方面具有更强的表现，而该方法与最近关于正则化用户模型训练的研究兼容，可以轻松应用于联邦学习算法的 Aggregation 模块。

Sep, 2020

SphereFed: 超球面联合学习

使用球面限制措施的超球面联邦学习 (SphereFed) 框架，通过在联邦学习之前将数据点的表示限制到由客户端共享的单位超球面上，解决了非独立分布数据的处理问题，通过构建固定分类器来处理不类别分布的数据在不同客户端间的差异性并在最小化损失函数的过程中进行联邦学习，最终实现进一步的分类器校准。我们的实验证明 SphereFed 方法能够有效提高现有算法的准确性（在具有挑战性的数据集上达到 6% 以上），并增强计算和通信效率。

Jul, 2022

聚类 FedStack：具有贝叶斯信息准则的中间全球模型

基于已发布的堆叠联邦学习（FedStack）框架，本研究提出了一种新颖的聚类联邦堆叠（Clustered FedStack）框架，通过采用三种聚类机制，并结合贝叶斯信息准则（BIC）和循环学习率方法，能有效克服联邦学习中的数据分布不同和标签不平衡的问题，优于基准模型的性能。

Sep, 2023

异构集成知识迁移用于联邦学习中的大模型训练

本研究提出了一种新的合奏知识转移方法 Fed-ET，采用了加权一致性蒸馏方案，通过利用各服务器的高度异构数据来提取可靠的共识，同时通过利用合奏中的多样性来改善泛化能力，并在图像和语言任务中显示出在通信参数较少的情况下，Fed-ET 明显优于其他最先进的 FL 算法，并且对于高数据异构性也是强健的。

Apr, 2022

基于动态正则化的联邦学习

我们提出了一种新的联邦学习方法，通过动态正则化器在限制设备异构性和大量设备、部分参与和不平衡数据的同时，在凸和非凸情况下实现了高效训练。

Nov, 2021

聚合式联邦学习：通过端边云协作增强更大规模的模型训练

提出了一种新的基于 EECC 的 FL 框架 ——Agglomerative Federated Learning (FedAgg)，它实现了具有实时访问的终端 - 边缘 - 云协同的设备级扩展，通过 Bridge Sample Based Online Distillation Protocol (BSBODP) 来递归地组织计算节点，实现每对父 - 子计算节点之间的知识传递和提取，提高了性能并满足了 FL 的隐私约束和 EECC 的灵活性要求。实验证明，FedAgg 相比最先进的方法，在准确率上平均提高了 4.53％，并在收敛速度上有显著的改进。

Dec, 2023