通过与对比学习的结合，本研究对异构数据对群聚式对比联邦聚类（CCFC）的影响进行了理论和实证分析，发现数据异构性加剧了 CCFC 中的维度崩溃，并通过引入一个去相关度正则化器解决了这个问题，使 CCFC 的性能得到了显著提升，NMI 得分最高达到 0.32。

Feb, 2024

使用自监督对比学习和客户端聚类的方法，提出了基于对比预训练的聚类联合学习方法，以改善联邦学习系统的模型收敛性和性能。

Nov, 2023

我们提出了一种名为 FCCA 的联邦 cINN 聚类算法，通过将客户端的私有数据转换为多元高斯分布，学习编码的潜在特征，以达到客户端聚类和改善全局模型性能的目的。实验结果表明，FCCA 在各种模型和数据集上的性能优于其他最先进的集群联邦学习算法，表明我们的方法在提高现实世界中联邦学习任务的效率和准确性方面具有巨大的潜力。

Sep, 2023

本文关注于联邦聚类问题，提出了一种用于联邦学习的延伸模糊 C 均值算法，并通过数值实验评估了其行为，其中一种方法即使在复杂情况下也能够确定良好的全局聚类中心，但也认识到许多挑战的问题仍然存在。

Jan, 2022

设计了一个支持个性化语义通信的联邦对比学习 (FedCL) 框架，它通过在多个客户端之间协作训练本地语义编码器和基站所拥有的全局语义解码器来实现。该框架不需要客户端模型聚合，支持异构语义编码器。此外，为了解决分布式客户端间异构数据集引起的语义不平衡问题，我们采用对比学习训练语义质心生成器 (SCG)。该生成器获得代表性的全局语义质心，具有内语义紧凑性和跨语义可分离性。因此，它为学习有区分性的本地语义特征提供优越的监督。此外，我们进行了理论分析，量化了 FedCL 的收敛性能。仿真结果验证了所提出的 FedCL 框架在任务性能和稳健性方面相对于其他分布式学习基准的优越性，尤其在低信噪比和高度异构数据场景下。

Jun, 2024

我们提出了一种新颖的对比学习框架，以应对联邦学习中的数据异构性挑战。我们分析了本地训练期间客户端之间梯度更新的不一致性，并建立了其与特征表示分布的依赖性，从而导出了用于减轻局部偏差的监督式对比学习（SCL）目标。此外，我们表明，在联邦学习中简单采用 SCL 会导致表示坍缩，导致收敛缓慢且性能有限。为了解决这个问题，我们引入了一种放松的对比学习损失，对每个类别中过度相似的样本对施加差异惩罚。这种策略可以防止表示坍缩并增强特征可传递性，促进协作训练，并带来显著的性能提升。通过大量实验结果，我们的框架在标准基准上比所有现有的联邦学习方法都取得了巨大的优势。

Jan, 2024

本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022

提出一种混合联邦和集中式学习（HFCL）框架，采用先进的数据传输方法并在计算资源不足时使用集中式学习方法，以有效地训练学习模型，并在所有客户端合作的同时提高学习准确度。

Nov, 2020

本文提出了一种新的基于 FCCL + 的联邦相关性和相似性学习方法，通过非目标蒸馏，在异构参与方之间利用不相关的未标记公共数据进行通信，构建了交叉相关矩阵并在逻辑和特征层面上对实例相似度分布进行对齐，旨在解决模型异质性和灾难性遗忘问题，并为此提出了一种综合评估标准，实验证明了该方法在各种场景下的优越性和模块的高效性。

Sep, 2023

提出了一个基于聚类的概念匹配框架，用于解决 Federated Continual Learning 中的概念漂移和客户端干扰问题，并证明该框架在多个指标上优于现有系统，并能够很好地扩展到大量客户端和模型大小。

Nov, 2023