FewFedWeight：针对多个 NLP 任务的 Few-shot 联邦学习框架

Dec, 2022

FewFedWeight：针对多个 NLP 任务的 Few-shot 联邦学习框架

FewFedWeight: Few-shot Federated Learning Framework across Multiple NLP Tasks

Weilong Dong, Xinwei Wu, Junzhuo Li, Shuangzhi Wu, Chao Bian...

TL;DRFewFedWeight 是跨多个任务的 few-shot 联邦学习框架，通过在隔离设备上训练客户端模型，广播全局模型并为客户端生成伪数据，同时使用能量算法对伪样本进行加权，动态聚合客户端模型的自适应模型权重更新全局模型，可显著提高客户端模型的性能。

Abstract

Massively multi-task learning with large language models has recently made substantial progress on few-shot generalization. However, this is usually performed in a centralized learning fashion, ignoring the privacy sensitivity issue of (annotated) data used in multiple tasks. To mitiga

few-shot learning federated learning privacy preservation nlp tasks centralized learning

发现论文，激发创造

联邦式少样本学习

本文介绍了一种新颖的问题：在联合学习场景下，如何面对数据有限的客户端。为了解决数据分布和本地数据不足等问题，提出了联合少样本学习框架，并进行了大量实验，证明了该框架的有效性。

Jun, 2023

少样本情况下的联邦自然语言处理

本研究探讨了在缺乏训练样本标签的情况下，如何通过建立一种命名为 FFNLP 的系统，使用伪标注技术和提示学习技术的算法进化来实现联邦学习模型的训练，以优化移动设备自然语言处理 (NLP) 应用程序的性能。

Dec, 2022

WeiAvg: 促进数据多样性的联邦学习模型聚合

本文提出了一种新颖方法 - WeiAvg，利用投影估计方法来估计客户端数据的多样性，从高多样性客户端强调权重更新，减少低多样性客户端的影响，实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx，能更快、更准确的达到收敛。

May, 2023

带加权跨设备传输的联邦式连续学习

这篇论文提出了一种新的基于权重的、面向联邦持续学习的框架，旨在解决在每个客户端从私有本地数据流中学习一系列任务的情况下，如何使用其他客户端的知识并防止不相关的知识干扰的问题。FedWeIT 取得了优秀的学习成果和通信代价的显著降低，是现有联邦学习和持续学习方法的重要改进。

Mar, 2020

个性化联邦学习与一阶模型优化

本文提出了一种个性化的联邦学习方法，通过每个客户只与相关客户联合训练模型，实现客户自定义目标分布的最优加权模型组合，且不需要知道任何数据分布或客户相似性的先验知识，该方法在多个联邦学习场景和数据集下表现优异，同时也支持个性化的迁移学习。

Dec, 2020

FedDWA: 带有在线权重调整的个性化联邦学习

本文提出了一种名为 FedDWA 的新型 PFL 算法，它利用参数服务器计算个性化的聚合权重，以此解决了传统加权聚合方法中需要客户端下载他人模型的通信问题和数据隐私问题。最终，基于五个真实数据集的实验表明，FedDWA 可以显著降低通信负担并实现比现有方法更高的模型精确度。

May, 2023

SphereFed: 超球面联合学习

使用球面限制措施的超球面联邦学习 (SphereFed) 框架，通过在联邦学习之前将数据点的表示限制到由客户端共享的单位超球面上，解决了非独立分布数据的处理问题，通过构建固定分类器来处理不类别分布的数据在不同客户端间的差异性并在最小化损失函数的过程中进行联邦学习，最终实现进一步的分类器校准。我们的实验证明 SphereFed 方法能够有效提高现有算法的准确性（在具有挑战性的数据集上达到 6% 以上），并增强计算和通信效率。

Jul, 2022

FedMeS: 基于本地内存的个性化联邦连续学习

个性化联合持续学习（PFCL）的问题是一个分布式客户端组，每个客户端都有一系列的本地任务和任意数据分布，通过一个中央服务器合作训练每个客户端的个性化模型，而这个模型需要在所有本地任务中表现良好。我们提出了一个名为联合记忆增强 FedMeS 的新型 PFCL 框架，以解决客户漂移和灾难性遗忘的挑战。在 FedMeS 中，每个客户端使用少量本地内存来存储来自先前任务的样本，并利用这些信息来同时：1) 校准训练过程中的梯度更新；2) 执行基于 KNN 的高斯推断以促进个性化。FedMeS 被设计为任务无关的，这意味着相同的推断过程适用于所有任务的样本，以取得好的性能。FedMeS 在理论上进行了分析并进行了实验评估。实验证明，在各种数据集、任务分布和客户端数量的组合中，它在平均准确性和遗忘率方面优于所有基线模型。

Apr, 2024

Efficient-FedRec: 保护隐私的新闻推荐高效联邦学习框架

本篇论文提出了一种有效的联邦学习框架，用于保护隐私的新闻推荐，通过在服务器上维护一个大的新闻模型和在服务器和客户端共享的轻量级用户模型来分解新闻推荐模型，实现了客户端的计算和通信成本的降低，并通过隐私保护的安全聚合方法对梯度进行聚合。

Sep, 2021

使用样本权重进行分布倾斜数据的联邦学习

通过使用样本权重，将客户端的数据分布调整至全局分布，从而提高联邦学习的性能，减少通信成本。

Jan, 2024