Sep, 2023

泛化的异构联邦交叉相关与实例相似度学习

PDF
TL;DR本文提出了一种新的基于 FCCL + 的联邦相关性和相似性学习方法，通过非目标蒸馏，在异构参与方之间利用不相关的未标记公共数据进行通信，构建了交叉相关矩阵并在逻辑和特征层面上对实例相似度分布进行对齐，旨在解决模型异质性和灾难性遗忘问题，并为此提出了一种综合评估标准，实验证明了该方法在各种场景下的优越性和模块的高效性。
发现论文，激发创造
  • CCFC++：通过特征去相关化增强联邦聚类

    通过与对比学习的结合，本研究对异构数据对群聚式对比联邦聚类（CCFC）的影响进行了理论和实证分析，发现数据异构性加剧了 CCFC 中的维度崩溃，并通过引入一个去相关度正则化器解决了这个问题，使 CCFC 的性能得到了显著提升，NMI 得分最高达到 0.32。

    Feb, 2024

  • 协作方法：为了最大化跨边界联邦学习的泛化性能

    分布式联邦学习中，研究探讨了通过分组合作来提高模型的泛化性能，解决了数据异构性问题。

    Jan, 2024

  • 松弛对比学习用于联合学习

    我们提出了一种新颖的对比学习框架，以应对联邦学习中的数据异构性挑战。我们分析了本地训练期间客户端之间梯度更新的不一致性，并建立了其与特征表示分布的依赖性，从而导出了用于减轻局部偏差的监督式对比学习（SCL）目标。此外，我们表明，在联邦学习中简单采用 SCL 会导致表示坍缩，导致收敛缓慢且性能有限。为了解决这个问题，我们引入了一种放松的对比学习损失，对每个类别中过度相似的样本对施加差异惩罚。这种策略可以防止表示坍缩并增强特征可传递性，促进协作训练，并带来显著的性能提升。通过大量实验结果，我们的框架在标准基准上比所有现有的联邦学习方法都取得了巨大的优势。

    Jan, 2024

  • FedILC: 非独立同分布数据联邦学习中加权几何均值和不变梯度协方差

    本研究提出了 FedILC 方法，利用梯度协方差和 Hessians 的几何平均来捕捉环境内部和环境之间的一致性，解决联邦网络中的域漂移问题，并在基准和真实世界数据集的实验证明了我们的算法优于传统基准和类似的联邦学习算法。

    May, 2022

  • FedH2L：具有模型和统计异质性的联邦学习

    该论文提出了 FedH2L 方法，通过相互蒸馏和分散学习的方式来实现联邦学习中不同参与者拥有不同网络结构和数据分布的情况下训练一个强而全面的全局模型。

    Jan, 2021

  • FedCCL：基于领域异质性的联邦双聚类特征对比

    通过引入聚类表示、局部聚类和全局信号等方法，本研究提出了一个双聚类特征对比的联邦学习框架，旨在解决非独立同分布数据的挑战，以跨客户知识共享和一致的全局指导为重点，实验结果表明，在域内和域间异质性下，该框架取得了可比或更高的性能提升。

    Apr, 2024

  • CCFC：连接联邦聚类和对比学习

    通过使用集群对比模型来学习友好的聚类表示，并以此为基础，提出了一种新的联邦聚类方法，称为集群对比联邦聚类（CCFC），其聚类性能甚至在某些情况下是最佳基准方法的两倍，并且在处理设备故障方面也显示出卓越的性能。

    Jan, 2024

  • 解决联邦持续学习中的灾难性遗忘问题

    为解决联合学习中的非独立同分布数据对连续增加的新类别分类任务所带来的 “灾难性遗忘” 问题，提出了一种名为 TARGET 的方法，其通过先前训练的全局模型在模型层次上为当前任务传输旧任务的知识并利用生成器产生合成数据来模拟全局分布，同时保护客户数据隐私，适用于数据敏感场景。

    Mar, 2023

  • FedMD: 通过模型蒸馏实现异构联邦学习

    本文利用迁移学习和知识蒸馏等方法，提出了一个通用的框架，使得联邦学习在每个参与者拥有自己的数据和独特的模型的情况下也能够实现。在 MNIST/FEMNIST 和 CIFAR10/CIFAR100 数据集上的试验中，与独立建模相比，该框架使得个体模型的测试准确度平均提高了 20％，并且只有少数几个百分点的下降。

    Oct, 2019

  • 面向医学图像分类的不均衡和聚合数据分布联邦学习

    采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

    Jun, 2022