Oct, 2020

联邦无监督表示学习

PDF
TL;DR提出了一种新的联邦学习问题 -- 联邦无监督表示学习 (FURL)，用于在保护数据隐私的同时学习常见的表示模型。提出了一种基于对比平均和字典对齐的 Federated Constrastive Averaging with dictionary and alignment (FedCA) 算法，以同时解决数据分布转移和表示空间不一致两个挑战。实验证明，FedCA 在各种条件下的表现都优于其他基准算法。
federated learningunsupervised learningrepresentation learningprivacydata distribution
发现论文，激发创造
  • 重新思考使用非独立同分布数据进行联邦无监督学习的表示

    FedU2 提出了一种用于非 I.I.D. 数据的联邦无监督学习方法，通过灵活的统一正则化器（FUR）和高效的统一聚合器（EUA）来解决现有方法在局部和全局模型表示之间存在的困扰，并通过跨设备和跨隔离评估实验证明了其性能。

    Mar, 2024

  • 去中心化数据协作无监督视觉表征学习

    该研究提出了一种名为 FedU 的联邦无监督学习框架，可以在保护数据隐私的同时利用去中心化的未标记图像数据学习视觉表示，并针对数据的非独立同分布问题提出了有效方法，实验证明其优于其他方法。

    Aug, 2021

  • 联邦用户表示学习

    本文介绍了一种名为 FURL 的方法，它使用现有的神经个性化技术，通过学习用户表示（嵌入）来改善神经网络模型预测准确性。FURL 将模型参数分为联邦和私有参数，其中私有参数（如私有用户嵌入）在本地训练，但不会被传输或平均在服务器上。该参数拆分对大多数模型个性化方法的训练没有影响。在两个数据集上评估 FURL，表明模型质量有了显着提高，并且用户嵌入在 FL 和集中式设置中具有非常相似的结构，表明 FURL 可以通过共享参数进行协作学习，同时保护用户隐私。

    Sep, 2019

  • FedCiR：面向联邦非 IID 特征的客户端不变表示学习

    提出了一种名为 FedCiR 的客户端不变表示学习框架，通过改进表示和标签之间的互信息项，以及减少客户集和表示之间在标签条件下的互信息项，实现提取信息性和客户端不变的特征，通过两个正则化项来限制近似全局表示分布的互信息项以弥补缺失的真实全局表示分布，进而实现了解决数据异质性和实现客户端不变表示学习的目标。

    Aug, 2023

  • 面向通信高效和隐私保护的联邦表示学习

    本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

    Sep, 2021

  • 使用对比共享表征进行个性化的联邦学习，解决非独立同分布数据中的标签差异性

    本文提出了一种名为 Federated Contrastive Representation Learning (FedCRL) 的个性化联邦学习算法，旨在处理分布式机器学习场景中由标签分布偏斜和数据稀缺性造成的异质性。FedCRL 通过在共享表示上引入对比表示学习 (CRL) 来促进客户端的知识获取，从而提升本地模型的效果并避免受到标签分布偏斜的伤害。此外，FedCRL 采用本地聚合机制来处理数据稀缺性，并引入损失加权机制来指导全局模型与每个客户端的协调，以帮助具有稀缺数据的客户端。通过在具有不同程度标签异质性的数据集上进行模拟，结果表明 FedCRL 在减轻标签异质性方面的有效性，实现了相对于现有方法的准确性改进。

    Apr, 2024

  • 异构和相关客户端的联邦学习

    本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

    Jan, 2023

  • 仅使用未标记数据的联邦学习与条件共享客户端

    本文介绍未监督联邦学习，通过共享客户拥有的未标记数据的条件分布，移动类先验概率，并将客户拥有的未标记数据转换为每个客户的替代标记数据，从而在联邦学习中实现模型的共享，即联邦未监督学习（FedUL）模型。FedUL 是通用的未监督联邦学习解决方案，可兼容许多监督 FL 方法，实验结果表明了 FedUL 的有效性。

    Apr, 2022

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • 应对联邦学习中标注质量差异

    本文提出了一种针对边缘端云架构的基于联邦学习的计算模型，称为 FOCUS，通过一种信用加权指导的协同调节机制，有效识别具有嘈杂标签的客户端，并减少其对模型性能的影响，从而显着优于现有的 FL 方法。

    Jan, 2020