FedPC：带有个人和上下文偏好嵌入的联合学习语言生成模型

Oct, 2022

FedPC：带有个人和上下文偏好嵌入的联合学习语言生成模型

FedPC: Federated Learning for Language Generation with Personal and Context Preference Embeddings

Andrew Silva, Pradyumna Tambwekar, Matthew Gombolay

TL;DR本文提出了利用个人 embedding 和共享上下文 embedding 的方法来进行联邦学习中的个性化研究，并提出了一种预测 “偏好” embedding 的方法，相对于现有方法在测试时间困惑度方面有 50% 的改进，且消耗的内存和计算量更小。

Abstract

federated learning is a training paradigm that learns from multiple distributed users without aggregating data on a centralized server. Such a paradigm promises the ability to deploy machine-learning at-scale to

federated learning personalization machine learning distributed users shared context embeddings

发现论文，激发创造

FedPH: 增强隐私的异构联邦学习

提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

Jan, 2023

本地记忆化的个性化联邦学习

通过利用深度神经网络从非表格数据（如图像和文本）提取高质量特征向量来提出一种基于本地记忆的个性化机制，该机制与基于全局模型的交叉训练相结合，使用局部ｋ- 近邻模型实现个性化，并且在二元分类情况下给出了一般化边界。在一系列联合数据集上实验证明了这种方法的准确性和公平性显著优于现有的状态 - of-the-art 方法。

Nov, 2021

在个性化层上进行联合学习

本文介绍了 FedPer，一种基本 + 个性化层式的联邦深度前馈神经网络训练方法，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。

Dec, 2019

设备上个性化联邦评估

该研究介绍了扩展联邦学习运算框架以评估全球模型个性化策略的方法，并提出了分析个性化效果以评估个性化是否产生理想模型的工具。作者还报告了在数千万用户的智能手机虚拟键盘中个性化语言模型的实验结果，并展示了相当一部分用户从个性化中受益。

Oct, 2019

个性化联邦学习：一种元学习方法

本文研究了联邦学习的个性化变种，在 Model-Agnostic Meta-Learning 框架下，通过个性化 Federated Averaging 算法，根据不同用户数据的分布差异，探讨其性能的影响。

Feb, 2020

联邦用户表示学习

本文介绍了一种名为 FURL 的方法，它使用现有的神经个性化技术，通过学习用户表示（嵌入）来改善神经网络模型预测准确性。FURL 将模型参数分为联邦和私有参数，其中私有参数（如私有用户嵌入）在本地训练，但不会被传输或平均在服务器上。该参数拆分对大多数模型个性化方法的训练没有影响。在两个数据集上评估 FURL，表明模型质量有了显着提高，并且用户嵌入在 FL 和集中式设置中具有非常相似的结构，表明 FURL 可以通过共享参数进行协作学习，同时保护用户隐私。

Sep, 2019

共享嵌入的联邦图神经网络

本研究提出了一种基于图嵌入的联邦学习方法，在不直接分享原始数据的情况下利用共享嵌入数据提高了现有基于图的网络的训练效率，并在不同数据集上进行了实验以显示其有效性，使得当前基于图的模型在联邦学习框架中的训练具备隐私保护的功能。

Oct, 2022

分布式个性化在线联邦学习

我们提出了一个新的去中心化个性化在线联邦学习设置，用于在在线环境中学习，在每个客户端上学习个性化模型，并在去中心化环境中学习。我们解决了两个技术挑战：如何通过优化本地模型的性能来聚合来自邻近客户端的共享模型参数，并通过学习的聚合权重选择最有帮助的邻居减少通信成本。

Nov, 2023

基于特征融合的个性化联邦学习

本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

Jun, 2024

个性化联邦学习中的上下文调节和元学习

提出了一种将联邦学习与元学习技术相结合的新框架，通过学习数据批次的上下文信息并使用该知识生成调制参数来动态调整基础模型的激活，从而实现了联邦学习的效率和泛化能力的提高。实验结果表明，与现有的联邦学习方法相比，这种方法在收敛速度和模型性能方面都有所提高，突出了将上下文信息和元学习技术融入联邦学习的潜力，为分布式机器学习范式的进步铺平了道路。

Dec, 2023