开发联邦学习以实现深度模型的潜力

Jun, 2023

开发联邦学习以实现深度模型的潜力

Unlocking the Potential of Federated Learning for Deeper Models

Haolin Wang, Xuefeng Liu, Jianwei Niu, Shaojie Tang, Jiaxing Shen

TL;DR在研究中，发现当将现有的联邦学习框架应用于更深的神经网络时，性能会显著下降，主要原因是由于在层间反向传播过程中不同客户端模型之间的不一致性逐步积累，称为 “发散累积”，提出了减少发散的技术指南，如使用更宽的模型和减少接受场，这些方法可以大大提高联邦学习在更深层次上的准确性。

Abstract

federated learning (FL) is a new paradigm for distributed machine learning that allows a global model to be trained across multiple clients without compromising their privacy. Although FL has demonstrated remarkable success in various scenarios, recent studies mainly utilize shallow an

federated learning neural networks performance decline divergence accumulation technical guidelines

发现论文，激发创造

NeFL: 异构客户端的嵌套联邦学习

嵌套联邦学习（NeFL）是一种通用的框架，通过深层次和宽度缩放有效地将模型划分为子模型，解决分布式学习中迟滞者对训练时间和性能的影响。此框架将模型解释为求解普通微分方程（ODEs）的方式，并通过解耦少量参数来解决训练多个具有不同架构的子模型时出现的不一致性。通过一系列实验，我们证明了 NeFL 可以显著提高性能，并且与联邦学习领域的最新研究相一致。

Aug, 2023

联邦学习的进展：模型、方法和隐私

本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

Feb, 2023

联邦学习的进展和开放问题

本文讨论联邦学习的最新进展和挑战，并提出了一系列开放性问题和挑战。

Dec, 2019

关于分散式联邦学习的调查

去中心化联邦学习解决方案的综述，包括现有的方法和未来的研究方向。

Aug, 2023

联邦学习：应用、挑战和未来方向

本文提供了关于联邦学习的概述，并重点关注医疗保健领域。通过中央协调器服务器共享全局深度学习模型，解决了隐私保护需求并探讨了联邦学习遇到的挑战和未来发展方向，其中使用多方计算、同态加密、差分隐私和随机梯度下降等多种隐私方法。

May, 2022

原型有助于联邦学习：朝着更快的收敛方向

该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

Mar, 2023

使用对比学习方法的预训练模型联邦学习

本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022

无一落后：异构设备上的包容性联邦学习

该研究提出了一种名为 InclusiveFL 的客户端包含的联邦学习方法，解决异构设备下的全局模型训练问题，并通过在不同大小的本地模型之间共享知识和动量知识蒸馏方法来实现客户端之间的模型学习和知识迁移，实验表明该方法在联邦学习框架下从客户异构设备中学习准确模型方面具有很好的效果。

Feb, 2022

面向联合学习中边缘节点的资源高效利用

通过部分训练模型的策略，我们提出并评估了一种受迁移学习启发的联邦学习策略，以减少设备上的资源利用、服务器负载和网络负担，从而加速训练过程，有效利用设备资源，并在不影响全局模型准确性的情况下减少数据传输约 75% 和 53%。

Sep, 2023

异构数据感知联邦学习

本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

Nov, 2020