Apr, 2024

使用对比共享表征进行个性化的联邦学习，解决非独立同分布数据中的标签差异性

HTML
PDF
TL;DR本文提出了一种名为Federated Contrastive Representation Learning (FedCRL)的个性化联邦学习算法，旨在处理分布式机器学习场景中由标签分布偏斜和数据稀缺性造成的异质性。FedCRL通过在共享表示上引入对比表示学习(CRL)来促进客户端的知识获取，从而提升本地模型的效果并避免受到标签分布偏斜的伤害。此外，FedCRL采用本地聚合机制来处理数据稀缺性，并引入损失加权机制来指导全局模型与每个客户端的协调，以帮助具有稀缺数据的客户端。通过在具有不同程度标签异质性的数据集上进行模拟，结果表明FedCRL在减轻标签异质性方面的有效性，实现了相对于现有方法的准确性改进。
发现论文，激发创造
  • 面向通信高效和隐私保护的联邦表示学习

    本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的Federated representation Learning框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

    Sep, 2021

  • SSFL: 通过个性化自监督解决联合学习中的标签不足问题

    本文提出自监督联邦学习框架（SSFL），包括标签不足、数据异构性等挑战，并提出一系列算法，如Per-SSFL、FedAvg和SimSiam等。作者还开发了一个分布式训练系统和相关评估协议，发现监督和非监督学习之间的性能差距小。

    Oct, 2021

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 本地或全局：有限标签下的选择性知识综合联邦学习

    在本研究中，我们提出了FedLabel方法，该方法可以在标签有限的本地数据情况下，通过全局模型或本地模型对未标记数据进行伪标记，进而利用全局模型和本地模型的知识，通过全局-本地一致性正则化提高模型的泛化能力，它不需要额外的专家、通信参数，也不需要服务器标记数据或完全标记的客户端数据，并在跨设备和跨网络隔离设置中表现优于其他半监督联邦学习方法和完全监督方法。

    Jul, 2023

  • FedL2P：个性化联邦学习

    该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在FL网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

    Oct, 2023

  • 松弛对比学习用于联合学习

    我们提出了一种新颖的对比学习框架，以应对联邦学习中的数据异构性挑战。我们分析了本地训练期间客户端之间梯度更新的不一致性，并建立了其与特征表示分布的依赖性，从而导出了用于减轻局部偏差的监督式对比学习（SCL）目标。此外，我们表明，在联邦学习中简单采用SCL会导致表示坍缩，导致收敛缓慢且性能有限。为了解决这个问题，我们引入了一种放松的对比学习损失，对每个类别中过度相似的样本对施加差异惩罚。这种策略可以防止表示坍缩并增强特征可传递性，促进协作训练，并带来显著的性能提升。通过大量实验结果，我们的框架在标准基准上比所有现有的联邦学习方法都取得了巨大的优势。

    Jan, 2024

  • FedAnchor: 为未标记的客户端增强联邦半监督学习的标签对比损失

    本文提出了FedAnchor方法，它是一种创新的半监督学习方法，引入了独特的双头结构（称为锚头），与仅在服务器上进行训练的分类头配对，锚头使用基于余弦相似度度量的新设计标签对比损失，通过减轻伪标签技术中的确认偏见和过拟合问题，显著提高了模型的收敛速度和准确性。

    Feb, 2024

  • 联邦对比学习的互信息视角

    我们通过SimCLR和多视图互信息最大化的角度研究了联邦环境中的对比学习，其中发现了对比表示学习与用户验证之间的关联；通过在每个客户端的本地SimCLR loss加上用户验证损失，我们恢复了全局多视图互信息的下界。为了适应在客户端存在一些标记数据的情况，我们将SimCLR变体扩展到联邦半监督设置。我们发现可以通过两个改变来获得受监督的SimCLR目标：a)对比损失是在具有相同标签的数据点之间计算的，b)我们需要一个额外的辅助头部，从任一视图中预测正确的标签。除了我们提出的SimCLR扩展，我们还研究了不同非独立同分布性的来源对联邦无监督学习通过全局互信息最大化的性能的影响；我们发现全局目标对于某些非独立同分布性的来源是有益的，但对于其他来源可能是有害的。我们在各种任务中对我们提出的扩展进行了实证评估，以验证我们的论点，并进一步证明我们的修改方法推广到其他预训练方法。

    May, 2024

  • 个性化语义沟通的联邦对比学习

    设计了一个支持个性化语义通信的联邦对比学习 (FedCL) 框架，它通过在多个客户端之间协作训练本地语义编码器和基站所拥有的全局语义解码器来实现。该框架不需要客户端模型聚合，支持异构语义编码器。此外，为了解决分布式客户端间异构数据集引起的语义不平衡问题，我们采用对比学习训练语义质心生成器 (SCG)。该生成器获得代表性的全局语义质心，具有内语义紧凑性和跨语义可分离性。因此，它为学习有区分性的本地语义特征提供优越的监督。此外，我们进行了理论分析，量化了FedCL的收敛性能。仿真结果验证了所提出的FedCL框架在任务性能和稳健性方面相对于其他分布式学习基准的优越性，尤其在低信噪比和高度异构数据场景下。

    Jun, 2024

  • 对比式联邦学习与表格数据孤岛

    本研究解决了组织在独立数据孤岛中获取知识的困难，尤其是面对不同标识符时的挑战。提出的对比式联邦学习方法有效克服了标签成本的障碍，并在实验中显示出相较于现有方法的更高准确性，为复杂的客户端环境下的数据协作提供了新的思路。

    Sep, 2024