联邦用户表示学习

Sep, 2019

Federated User Representation Learning

Duc Bui, Kshitiz Malik, Jack Goetz, Honglei Liu, Seungwhan Moon...

TL;DR本文介绍了一种名为 FURL 的方法，它使用现有的神经个性化技术，通过学习用户表示（嵌入）来改善神经网络模型预测准确性。FURL 将模型参数分为联邦和私有参数，其中私有参数（如私有用户嵌入）在本地训练，但不会被传输或平均在服务器上。该参数拆分对大多数模型个性化方法的训练没有影响。在两个数据集上评估 FURL，表明模型质量有了显着提高，并且用户嵌入在 FL 和集中式设置中具有非常相似的结构，表明 FURL 可以通过共享参数进行协作学习，同时保护用户隐私。

Abstract

collaborative personalization, such as through learned user representations (embeddings), can improve the prediction accuracy of neural-network-based models significantly. We propose Federated User Representation Learning (FURL), a simple, scalable, privacy-preserving and resource-effi

collaborative personalization federated learning neural personalization privacy preservation user embeddings

发现论文，激发创造

联邦无监督表示学习

提出了一种新的联邦学习问题 -- 联邦无监督表示学习 (FURL)，用于在保护数据隐私的同时学习常见的表示模型。提出了一种基于对比平均和字典对齐的 Federated Constrastive Averaging with dictionary and alignment (FedCA) 算法，以同时解决数据分布转移和表示空间不一致两个挑战。实验证明，FedCA 在各种条件下的表现都优于其他基准算法。

Oct, 2020

FedPC：带有个人和上下文偏好嵌入的联合学习语言生成模型

本文提出了利用个人 embedding 和共享上下文 embedding 的方法来进行联邦学习中的个性化研究，并提出了一种预测 “偏好” embedding 的方法，相对于现有方法在测试时间困惑度方面有 50% 的改进，且消耗的内存和计算量更小。

Oct, 2022

欠参数化模型中的联邦表示学习

在参数不足的情况下，我们提出了一种新颖的 Federated representation learning 算法 FLUTE，理论上表征了其在线性模型的样本复杂度和收敛速率，实验结果证明其优于现有解决方案。

Jun, 2024

本地记忆化的个性化联邦学习

通过利用深度神经网络从非表格数据（如图像和文本）提取高质量特征向量来提出一种基于本地记忆的个性化机制，该机制与基于全局模型的交叉训练相结合，使用局部ｋ- 近邻模型实现个性化，并且在二元分类情况下给出了一般化边界。在一系列联合数据集上实验证明了这种方法的准确性和公平性显著优于现有的状态 - of-the-art 方法。

Nov, 2021

FedFNN：基于更新预测的联邦推荐系统中的训练快速收敛

FedFNN 是一种用于加速分布式模型训练的算法，通过在样本集中使用未采样用户的权重更新，从而在保持或提高准确性的同时，实现比其他方法快 5 倍的训练速度，且在客户端群集变化的情况下表现一致，在可用性有限的情景中优于其他方法，更快地收敛。

Sep, 2023

基于代表共享的可扩展协作学习

通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

Nov, 2022

面向通信高效和隐私保护的联邦表示学习

本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

Sep, 2021

共享嵌入的联邦图神经网络

本研究提出了一种基于图嵌入的联邦学习方法，在不直接分享原始数据的情况下利用共享嵌入数据提高了现有基于图的网络的训练效率，并在不同数据集上进行了实验以显示其有效性，使得当前基于图的模型在联邦学习框架中的训练具备隐私保护的功能。

Oct, 2022

联邦取消学习：方法、设计指导和评估指标综述

本研究调查了联邦学习中取消学习的背景概念、经验证据和实际指南，提出了一种新的分类法对最先进的取消学习算法进行详细分析，并确定了该领域最有前景的研究方向和尚未解决的技术挑战。

Jan, 2024

个性化表示的联邦人脸伪造检测学习

提出了一种新颖的个性化伪造脸部检测学习方法，旨在通过个性化表示学习每个客户的个性化表示，提高个体客户模型的检测性能；同时，利用个性化联合学习训练策略更新分布式检测模型的参数，通过多个分布式客户端设备进行协同训练，并将这些客户端模型的共享表示上传到服务器端进行聚合。与现有方法相比，该算法在多个公共脸部伪造检测数据集上展现出卓越的性能。

Jun, 2024