MMJun, 2024

个性化语义沟通的联邦对比学习

PDF
TL;DR设计了一个支持个性化语义通信的联邦对比学习 (FedCL) 框架，它通过在多个客户端之间协作训练本地语义编码器和基站所拥有的全局语义解码器来实现。该框架不需要客户端模型聚合，支持异构语义编码器。此外，为了解决分布式客户端间异构数据集引起的语义不平衡问题，我们采用对比学习训练语义质心生成器 (SCG)。该生成器获得代表性的全局语义质心，具有内语义紧凑性和跨语义可分离性。因此，它为学习有区分性的本地语义特征提供优越的监督。此外，我们进行了理论分析，量化了 FedCL 的收敛性能。仿真结果验证了所提出的 FedCL 框架在任务性能和稳健性方面相对于其他分布式学习基准的优越性，尤其在低信噪比和高度异构数据场景下。
federated contrastive learningpersonalized semantic communicationheterogeneous semantic encoderssemantic imbalance issuedistributed learning benchmarks
发现论文，激发创造
  • 松弛对比学习用于联合学习

    我们提出了一种新颖的对比学习框架，以应对联邦学习中的数据异构性挑战。我们分析了本地训练期间客户端之间梯度更新的不一致性，并建立了其与特征表示分布的依赖性，从而导出了用于减轻局部偏差的监督式对比学习（SCL）目标。此外，我们表明，在联邦学习中简单采用 SCL 会导致表示坍缩，导致收敛缓慢且性能有限。为了解决这个问题，我们引入了一种放松的对比学习损失，对每个类别中过度相似的样本对施加差异惩罚。这种策略可以防止表示坍缩并增强特征可传递性，促进协作训练，并带来显著的性能提升。通过大量实验结果，我们的框架在标准基准上比所有现有的联邦学习方法都取得了巨大的优势。

    Jan, 2024

  • 使用联邦学习训练语义沟通系统

    通过利用用户数据来解决隐私问题，降低信息传输量并减少网络流量，我们在联邦学习设置中探索语义通信，并提出了一种称为 FedLol 的机制来聚合来自客户端的全局模型，与基线方法相比，详尽的模拟结果证明了我们提出的技术的有效性。

    Oct, 2023

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 基于对比编码器预训练的聚类联邦学习用于异种数据

    使用自监督对比学习和客户端聚类的方法，提出了基于对比预训练的聚类联合学习方法，以改善联邦学习系统的模型收敛性和性能。

    Nov, 2023

  • 混合联邦与集中式学习

    提出一种混合联邦和集中式学习（HFCL）框架，采用先进的数据传输方法并在计算资源不足时使用集中式学习方法，以有效地训练学习模型，并在所有客户端合作的同时提高学习准确度。

    Nov, 2020

  • 面向通信高效和隐私保护的联邦表示学习

    本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

    Sep, 2021

  • CCFC：连接联邦聚类和对比学习

    通过使用集群对比模型来学习友好的聚类表示，并以此为基础，提出了一种新的联邦聚类方法，称为集群对比联邦聚类（CCFC），其聚类性能甚至在某些情况下是最佳基准方法的两倍，并且在处理设备故障方面也显示出卓越的性能。

    Jan, 2024

  • 面向异构客户的个性化联邦学习与聚类知识迁移

    本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。

    Sep, 2021

  • 基于双语义对齐的对比个性化联邦学习的时空预测方法

    使用对比学习方法的个性化联邦学习方法 FUELS，通过语义相似性自适应地对齐正负样本，从而在辅助对比任务中向潜在表示空间注入精确的时空异质性，实验证明 FUELS 在通信成本下降约 94％的同时优于现有方法。

    Apr, 2024

  • 去中心化无标签医学影像的联邦对比学习

    本研究提出了一个名为 FedMoCo 的鲁棒性联邦对比学习（FCL）框架，该框架在临床领域的分布式无标签医学数据上进行元数据传输和自适应聚合，并在 COVID-19 检测等下游任务中显著减少有标签数据需求，从而相对于传统联邦学习框架 FedAvg，更能在从医学图像中提取有意义的表示方面表现良好。

    Sep, 2021