Jan, 2024

松弛对比学习用于联合学习

PDF
TL;DR我们提出了一种新颖的对比学习框架，以应对联邦学习中的数据异构性挑战。我们分析了本地训练期间客户端之间梯度更新的不一致性，并建立了其与特征表示分布的依赖性，从而导出了用于减轻局部偏差的监督式对比学习（SCL）目标。此外，我们表明，在联邦学习中简单采用 SCL 会导致表示坍缩，导致收敛缓慢且性能有限。为了解决这个问题，我们引入了一种放松的对比学习损失，对每个类别中过度相似的样本对施加差异惩罚。这种策略可以防止表示坍缩并增强特征可传递性，促进协作训练，并带来显著的性能提升。通过大量实验结果，我们的框架在标准基准上比所有现有的联邦学习方法都取得了巨大的优势。
contrastive learningdata heterogeneityfederated learningsupervised contrastive learningrepresentation collapse
发现论文，激发创造
  • 个性化语义沟通的联邦对比学习

    设计了一个支持个性化语义通信的联邦对比学习 (FedCL) 框架，它通过在多个客户端之间协作训练本地语义编码器和基站所拥有的全局语义解码器来实现。该框架不需要客户端模型聚合，支持异构语义编码器。此外，为了解决分布式客户端间异构数据集引起的语义不平衡问题，我们采用对比学习训练语义质心生成器 (SCG)。该生成器获得代表性的全局语义质心，具有内语义紧凑性和跨语义可分离性。因此，它为学习有区分性的本地语义特征提供优越的监督。此外，我们进行了理论分析，量化了 FedCL 的收敛性能。仿真结果验证了所提出的 FedCL 框架在任务性能和稳健性方面相对于其他分布式学习基准的优越性，尤其在低信噪比和高度异构数据场景下。

    Jun, 2024

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 面向通信高效和隐私保护的联邦表示学习

    本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

    Sep, 2021

  • 使用对比共享表征进行个性化的联邦学习，解决非独立同分布数据中的标签差异性

    本文提出了一种名为 Federated Contrastive Representation Learning (FedCRL) 的个性化联邦学习算法，旨在处理分布式机器学习场景中由标签分布偏斜和数据稀缺性造成的异质性。FedCRL 通过在共享表示上引入对比表示学习 (CRL) 来促进客户端的知识获取，从而提升本地模型的效果并避免受到标签分布偏斜的伤害。此外，FedCRL 采用本地聚合机制来处理数据稀缺性，并引入损失加权机制来指导全局模型与每个客户端的协调，以帮助具有稀缺数据的客户端。通过在具有不同程度标签异质性的数据集上进行模拟，结果表明 FedCRL 在减轻标签异质性方面的有效性，实现了相对于现有方法的准确性改进。

    Apr, 2024

  • 基于代表共享的可扩展协作学习

    通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

    Nov, 2022

  • FedCCL：基于领域异质性的联邦双聚类特征对比

    通过引入聚类表示、局部聚类和全局信号等方法，本研究提出了一个双聚类特征对比的联邦学习框架，旨在解决非独立同分布数据的挑战，以跨客户知识共享和一致的全局指导为重点，实验结果表明，在域内和域间异质性下，该框架取得了可比或更高的性能提升。

    Apr, 2024

  • 联邦对比学习的互信息视角

    我们通过 SimCLR 和多视图互信息最大化的角度研究了联邦环境中的对比学习，其中发现了对比表示学习与用户验证之间的关联；通过在每个客户端的本地 SimCLR loss 加上用户验证损失，我们恢复了全局多视图互信息的下界。为了适应在客户端存在一些标记数据的情况，我们将 SimCLR 变体扩展到联邦半监督设置。我们发现可以通过两个改变来获得受监督的 SimCLR 目标：a) 对比损失是在具有相同标签的数据点之间计算的，b) 我们需要一个额外的辅助头部，从任一视图中预测正确的标签。除了我们提出的 SimCLR 扩展，我们还研究了不同非独立同分布性的来源对联邦无监督学习通过全局互信息最大化的性能的影响；我们发现全局目标对于某些非独立同分布性的来源是有益的，但对于其他来源可能是有害的。我们在各种任务中对我们提出的扩展进行了实证评估，以验证我们的论点，并进一步证明我们的修改方法推广到其他预训练方法。

    May, 2024

  • CCFC：连接联邦聚类和对比学习

    通过使用集群对比模型来学习友好的聚类表示，并以此为基础，提出了一种新的联邦聚类方法，称为集群对比联邦聚类（CCFC），其聚类性能甚至在某些情况下是最佳基准方法的两倍，并且在处理设备故障方面也显示出卓越的性能。

    Jan, 2024

  • 泛化的异构联邦交叉相关与实例相似度学习

    本文提出了一种新的基于 FCCL + 的联邦相关性和相似性学习方法，通过非目标蒸馏，在异构参与方之间利用不相关的未标记公共数据进行通信，构建了交叉相关矩阵并在逻辑和特征层面上对实例相似度分布进行对齐，旨在解决模型异质性和灾难性遗忘问题，并为此提出了一种综合评估标准，实验证明了该方法在各种场景下的优越性和模块的高效性。

    Sep, 2023

  • 基于对比编码器预训练的聚类联邦学习用于异种数据

    使用自监督对比学习和客户端聚类的方法，提出了基于对比预训练的聚类联合学习方法，以改善联邦学习系统的模型收敛性和性能。

    Nov, 2023