联邦学习对微调特征的偏倚风险及其影响弱领域泛化性能

Jan, 2024

联邦学习对微调特征的偏倚风险及其影响弱领域泛化性能

The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness

Mengyao Du, Miao Zhang, Yuwen Pu, Kai Xu, Shouling Ji...

TL;DR通过引入 GNP 算法，将鲁棒性从预训练模型传递到微调模型，并增加少量的高斯噪声以增强模型的代表能力，从而显著提高模型在不同场景下的鲁棒性。

Abstract

To tackle the scarcity and privacy issues associated with domain-specific datasets, the integration of federated learning in conjunction with fine-tuning has emerged as a practical solution. However, our findings

federated learning fine-tuning model robustness gnp data heterogeneity

发现论文，激发创造

FedGen: 泛化联邦学习

本文提出了一种名为 FedGen 的通用联邦学习框架，它允许客户端以协作的方式在没有训练分布的先验知识的情况下，识别和区分虚假和不变特征，与目前的联邦学习方法相比，FedGen 能够实现显著更好的泛化效果。

Nov, 2022

隐私保护机制在联邦学习中的应用

本文研究在联邦学习中，使用差分隐私和社区驱动方法来保障本地数据隐私，识别了一个安全漏洞并设计了两种攻击模式，Adversarial Mode 和 Backdoor Mode，实验结果表明这些攻击是有效的。

May, 2023

DRFLM：利用本地混合和客户端内噪声的分布鲁棒联邦学习

本文提出了一个通用框架，通过使用分布式鲁棒优化和混合技术来解决联合学习中数据异质性和数据噪声的两个挑战，并在多个药物发现任务中进行了实证研究。

Apr, 2022

带有噪声标签的鲁棒联邦学习

提出了一种新的联邦学习方案，其中服务器与本地模型合作，通过交换类别的中心来保持一致的决策边界，实现了在网络中使用带有给定噪声的标签的一致决策边界。同时，还提出了选择有自信的样本来更新模型以及全局引导的伪标签方法来更新不自信的样本标签。在嘈杂的 CIFAR-10 数据集和 Clothing1M 数据集上的实验证明，该方法在使用有噪声的标签的联邦学习中非常有效。

Dec, 2020

利润：联邦提示调优中个性化和鲁棒性权衡的基准化

在联邦学习中，通过有限的本地更新和计算限制，对大型语言模型进行 FEFT（参数高效微调）时，需要平衡个性化和鲁棒性之间的权衡，研究结果表明采用小学习速率和许多局部训练轮次进行个性化时，联邦训练的提示可以在很大程度上保持鲁棒性。

Oct, 2023

面向因果联邦学习的增强鲁棒性和隐私保护

本文提出了一种在联邦学习中学习所有参与客户机中共同不变（因果）特征的方法，并经验性地分析了它如何增强模型的精度和隐私性。

Apr, 2021

非独立同分布联邦学习中通过零数据知识蒸馏微调全局模型

该研究提出了一种数据无关的知识蒸馏方法，通过生成器探索本地模型的输入空间，并将本地模型的知识传递到全局模型中。实验结果表明，该方法在解决联邦学习中的数据异质性问题及提升模型性能方面，优于现有的联邦学习算法。

Mar, 2022

无噪音异构客户端的联邦学习谨慎学习

本篇论文提出了一种名为 FedCNI 的方法，通过使用噪声鲁棒局部求解器和强健的全局聚合器，在 Federated learning 的小规模本地数据集中解决标签噪声和类别不平衡带来的挑战，并在混合异构 FL 场景中实现了比现有技术更好的性能。

Apr, 2023

一种简单的数据增强方法用于特征分布倾斜联邦学习

本文提出了一种名为 FedRDN 的数据增强方法，通过将来自整个联邦系统的数据集统计注入到客户端数据中来有效改善特征分布倾斜 FL 的泛化，从而缓解了不同本地数据集的基础分布所导致的特征漂移问题。

Jun, 2023

带噪声通信的鲁棒联邦学习

本研究提出一种鲁棒的联邦学习方案，通过并行优化、正则化等方法减小噪声影响，并从理论角度分析了其收敛性和准确性改善，仿真实验进一步验证了该方案的有效性。

Nov, 2019