无监督联邦学习：具有对抗攻击鲁棒性的异构混合模型的联邦梯度 EM 算法

Oct, 2023

无监督联邦学习：具有对抗攻击鲁棒性的异构混合模型的联邦梯度 EM 算法

Unsupervised Federated Learning: A Federated Gradient EM Algorithm for Heterogeneous Mixture Models with Robustness against Adversarial Attacks

PDF

Ye Tian, Haolei Weng, Yang Feng

TL;DR我们引入了一种新颖的联邦梯度 EM 算法，用于异构混合模型的无监督学习，该算法具有适应未知任务相似性、对数据源的少量敌对攻击具有弹性、保护本地数据隐私和计算与通信效率的关键优势。

Abstract

While supervised federated learning approaches have enjoyed significant success, the domain of unsupervised federated learning remains relatively underexplored. In this paper, we introduce a novel federated gradi

supervised federated learning unsupervised federated learning federated gradient em algorithm mixture models local data privacy

发现论文，激发创造

混合分布下的个性化联邦学习

该研究针对现有的 PFL 方法存在的局限性，提出了一种名为 FedGMM 的新方法，该方法利用高斯混合模型在多个客户端之间适应输入数据分布，实现更好的性能，并且可以适应新的客户端且具有不确定性量化的能力。

May, 2023

使用变分自编码器和高斯混合模型的联合学习用于行为异常检测

本研究提出了一种新颖的无监督联邦学习方法，用于在车辆环境中识别潜在的不正常行为。该方法利用公共云服务的计算能力进行模型聚合，并作为不正常行为事件的集中存储库，以实现跨车辆学习和集体防御策略。通过在联邦环境中使用 Gaussian Mixture Models（GMM）和 Variational Autoencoders（VAE）以及 Restricted Boltzmann Machines（RBM）进行预训练和模型聚合，该方法在性能上超过了基于监督技术和人工分割的近期提案（超过 80％）。

May, 2024

异构环境下的健壮联邦学习

在 Federated Learning 中，我们提出了一个统计模型来解决异构数据分布和拜占庭机器等统计和计算挑战。在此基础上，我们提出了一个优化算法来解决该问题，并获得了比非拜占庭鲁棒算法更好的估计误差。

Jun, 2019

异构设置下联邦自监督学习：在 HAR 上基线方法的限制

本研究旨在提供在现实环境下使用半监督学习来评估联邦学习的参考标准，其重点在于联邦自监督学习的研究，以利用移动设备上存在的大量异构未标记数据。通过使用多个现实异构人类活动识别数据集，本研究表明标准轻量级自编码器和标准联邦平均无法学习人类活动识别的稳健表示，这些发现证明了需要加强联邦自监督学习的研究。

Jul, 2022

混合分布下的联邦多任务学习

该研究提出了一种基于混合模型假设的联邦多任务学习方法，该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛，同时在联邦学习基准测试中获得了更高的准确性和公平性。

Aug, 2021

量化分层联邦学习：统计异质性的鲁棒方法

本文提出了一种新颖的分层联邦学习算法，其在多个集合中结合了量化进行通信效率，并且展示了对统计异质性的鲁棒性。与传统的分层联邦学习算法不同，我们的方法将集合内迭代中的梯度聚合与集合间迭代中的模型聚合相结合。我们提供了一个全面的分析框架来评估其最优性差距和收敛速度，并将这些方面与传统算法进行比较。此外，我们还提出了一个问题形式化解决方案以推导出最优的系统参数。我们的研究结果表明，我们的算法在一系列参数下始终能够实现高学习准确率，并且在具有异构数据分布的场景中明显优于其他分层算法。

Mar, 2024

基于层次贝叶斯的个性化联邦无监督学习

我们开启了对个性化无监督学习的系统研究，通过基于层次贝叶斯统计框架的优化准则，开发了一种自适应算法，在使用有限的本地数据和协作信息之间寻找平衡。我们在个性化降维和个性化扩散模型的背景下开发了我们的自适应算法，并对其进行了收敛性分析，揭示了问题参数（例如，异质性，本地样本大小）的依赖关系。我们还为个性化扩散模型开发了一个理论框架，展示了即使在异质性下也能从协作中获益。最后，我们使用合成和真实数据评估了我们提出的算法，展示了通过协作诱发的针对个性化任务的有效样本放大，尽管数据异质性存在。

Feb, 2024

非凸紧凑平滑次流形上的异构数据联邦学习

本文提出了一种基于随机黎曼梯度和流形投影算子的非凸联邦学习算法，用于在异构客户端数据的紧致平滑子流形上提高计算效率，并通过同时利用流形结构和损失函数特性的新型分析，理论上证明了该算法亚线性收敛到一阶最优解附近，数值实验表明我们的算法具有比现有方法更小的计算和通信开销。

Jun, 2024

FedADMM：一种允许部分参与的联合原始对偶算法

该研究提出一种新的联邦学习算法 FedADMM，解决具有非光滑正则化器的非凸复合优化问题，以促进通信效率和数据隐私。作者证明了在一般的采样模型下，在不是所有客户端都能参与给定通信轮的情况下，FedADMM 会收敛。

Mar, 2022

Orchestra：基于全局一致聚类的无监督联邦学习

本文提出一种基于 Orchestra 算法的无监督联邦学习技术，通过在联邦结构中进行分层聚类任务并强制执行全局一致的客户端数据划分，实现了对统计 / 系统异质性、可扩展性和通信效率的稳健性，保证了良好的泛化性能，并在一系列条件下优于其他技术。

May, 2022