利用共享表示进行个性化联邦学习

Feb, 2021

利用共享表示进行个性化联邦学习

Exploiting Shared Representations for Personalized Federated Learning

Liam Collins, Hamed Hassani, Aryan Mokhtari, Sanjay Shakkottai

TL;DR本文提出了一个新的联邦学习框架和算法，用于在客户之间学习共享的数据表示和每个客户的独特的本地头。我们的算法利用了跨客户的分布式计算能力，以便每次更新表示时进行许多针对低维本地参数的局部更新。我们证明该方法在线性设置中获得与地面实况表示的线性收敛，并获得接近最优样本复杂度，从而在每个客户端高效地降低问题维度。这个结果超出了联合学习，是一类希望在数据分布中学习共享的低维表示的问题的广泛兴趣，例如在元学习和多任务学习中。此外，广泛的实验结果显示了我们的方法在异构数据的联邦环境中相对于可选的个性化联邦学习方法的经验改进。

Abstract

deep neural networks have shown the ability to extract universal feature representations from data such as images and text that have been useful for a variety of learning tasks. However, the fruits of representation lea

deep neural networks representation learning federated learning local parameters heterogeneous data

发现论文，激发创造

个性化联邦学习中的序列层扩展在表征学习中的应用

通过表示学习的方法，将深度学习模型分解为更密集的部分，并应用适当的调度方法以解决数据和类别的异质性，从而提高个性化联邦学习算法的准确性并降低计算成本。

Apr, 2024

个性化联邦学习中的特征对齐与分类器协作

利用全局特征知识进行本地表示学习的显式本地 - 全局特征对齐，以及针对每个客户端量化分类器组合的优点，导出一个优化问题来估计最优权重，有效地处理异构数据场景。

Jun, 2023

本地记忆化的个性化联邦学习

通过利用深度神经网络从非表格数据（如图像和文本）提取高质量特征向量来提出一种基于本地记忆的个性化机制，该机制与基于全局模型的交叉训练相结合，使用局部ｋ- 近邻模型实现个性化，并且在二元分类情况下给出了一般化边界。在一系列联合数据集上实验证明了这种方法的准确性和公平性显著优于现有的状态 - of-the-art 方法。

Nov, 2021

基于特征融合的个性化联邦学习

本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

Jun, 2024

本地思考，全球行动：具备本地和全局表示的联邦学习

通过在设备上联合学习一种新的联邦学习算法，可以通过仅传递参数来训练全局模型，从而保持设备数据的私密性，这可以减少通信参数的数量并降低数据方差和设备分布差异，同时兼顾对隐私和公平性的要求。

Jan, 2020

联邦剩余学习

本研究探讨了一种新的联邦学习形式，其中客户端训练个性化本地模型，并与服务器端共享模型联合进行预测，通过这种新的联邦学习框架，可以最小化中央共享模型的复杂性，同时获得联合训练提供的所有性能优势。这个框架对数据异质性具有鲁棒性，解决了传统联邦学习方法在客户端数据非独立同分布时面临的收敛缓慢问题。我们在实证测试中发现，与基准线相比，取得了巨大的性能提升。

Mar, 2020

通过表示匹配和自适应超参数实现鲁棒联邦学习

本文提出了一种解决分散式学习中数据分布不一致、超参数调整等问题的两种方案，分别是特征匹配方案和自适应超参数调整方案，并在多个基准测试中证明，这两种方案可以显著提高性能和训练鲁棒性。

Dec, 2019

个性化表示的联邦人脸伪造检测学习

提出了一种新颖的个性化伪造脸部检测学习方法，旨在通过个性化表示学习每个客户的个性化表示，提高个体客户模型的检测性能；同时，利用个性化联合学习训练策略更新分布式检测模型的参数，通过多个分布式客户端设备进行协同训练，并将这些客户端模型的共享表示上传到服务器端进行聚合。与现有方法相比，该算法在多个公共脸部伪造检测数据集上展现出卓越的性能。

Jun, 2024

联邦学习的个性化技术综述

本文调查了针对非独立同分布数据的个性化联邦学习的研究，此技术可让多方参与联合学习，从而达到隐私保护的目的。

Mar, 2020

SphereFed: 超球面联合学习

使用球面限制措施的超球面联邦学习 (SphereFed) 框架，通过在联邦学习之前将数据点的表示限制到由客户端共享的单位超球面上，解决了非独立分布数据的处理问题，通过构建固定分类器来处理不类别分布的数据在不同客户端间的差异性并在最小化损失函数的过程中进行联邦学习，最终实现进一步的分类器校准。我们的实验证明 SphereFed 方法能够有效提高现有算法的准确性（在具有挑战性的数据集上达到 6% 以上），并增强计算和通信效率。

Jul, 2022