通过本地适配挽救联合学习

Feb, 2020

Salvaging Federated Learning by Local Adaptation

Tao Yu, Eugene Bagdasaryan, Vitaly Shmatikov

TL;DR针对联邦学习中参与者局部利益与数据准确度不匹配的问题，本文提出并比较了三种本地适应技术，并指出差分隐私和鲁棒聚合恶化了联邦模型的准确性。这三种技术分别为：微调、多任务学习和知识蒸馏。我们的实验结果表明，所有参与者都从本地适应中受益，并且本地模型表现不佳的参与者通过传统联邦方式得到了大幅提升。

Abstract

federated learning (FL) is a heavily promoted approach for training ml models on sensitive data, e.g., text typed by users on their smartphones. FL is expressly designed for training on data that are unbalanced a

federated learning local adaptation differential privacy robust aggregation ml models

发现论文，激发创造

具有域自适应的私有联邦学习

本文提出了一种基于联邦学习的机器学习分布式范例，可以在保护隐私的前提下进行多方联合重新训练共享模型，并通过用户级领域自适应来提高模型精度，实验结果表明在为 FL 模型强制实施差分隐私界限时，该技术可以更大程度地提升模型的准确性。

Dec, 2019

联邦学习中的本地适应性：收敛和一致性

本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

Jun, 2021

联邦学习的进展：模型、方法和隐私

本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

Feb, 2023

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021

公平联邦学习能否降低个性化需求？

本论文通过策略提出了 Personalisation-aware Federated Learning (PaFL) 的模型，在语言任务中减少了 50% 的表现不佳客户端的数量，在图像任务中也避免了表现不佳客户端数量翻倍的情况，提高了边缘设备参与联邦学习的效率并有望在未来实验和理论分析上得到更多的应用。

May, 2023

通过模型不可知元学习提高联邦学习个性化能力

本文探讨了通过元学习算法为联邦学习实现个性化的可能性。结果表明，联邦平均算法可以被解释为一种元学习算法，并且通过细致的微调，可以得到更准确、更易于个性化的全局模型。

Sep, 2019

面向医学转录分析的联合多语言模型

该论文介绍了一个针对医学实体标注等下游任务的大规模多语言模型的联邦学习系统，它能够跨越高度异质化的数据提供者进行训练，并通过本地训练步骤进一步提高全局模型的性能。

Nov, 2022

持续本地训练以改进联邦模型的初始化

本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

May, 2020

联邦迁移学习综述：挑战、方法与应用

联邦学习（FL）是一种新颖的分布式机器学习范式，通过消除数据共享要求，使参与者能够协同训练中央模型并保护隐私。联邦学习涉及多个参与者，并要求第三方汇总全局信息以指导目标参与者的更新。为解决此问题，联邦迁移学习（FTL）吸引了众多研究者的关注。本综述聚焦于对当前联邦迁移学习进展的分类和综述，并概述相关解决方案和应用。

Mar, 2024

局部差分隐私下联邦学习中的实用聚合

本文研究基于联邦学习的隐私保护问题，提出了一种局部差分隐私机制，以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明，该机制不仅具有优异的深度学习性能，而且能够提供强大的隐私保证。

Jul, 2020