Feb, 2023

在联邦学习中通过私有化定制预调优以更好地匹配用户数据

PDF
TL;DR介绍了一种用于联合学习的隐私保护方法 —— FreD，该方法使用分布式的差分隐私均值和协方差估计器计算大型语言模型在中央（公共）数据集和联合私人客户数据上生成嵌入的 Fréchet 距离，以可靠和私密的方式评估 Prefinetuning 数据集的质量。使用 FreD，通过以下步骤，演示了一种新的私人 FL 训练方法的概念证明：（1）定制 Prefinetuning 数据集以更好地匹配用户数据（2）Prefinetuning（3）执行 FL-finetuning。
federated learningprivacy-preservingfréchet distanceprefinetuning datasetdifferentially private
发现论文，激发创造
  • 当联邦学习遇到预训练语言模型的参数高效调整方法

    本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

    Dec, 2022

  • 个性化联邦学习推进：群体隐私，公平与更多

    本文介绍了在联邦学习框架中处理个性化、隐私保证和公平性三者之间的相互关系，通过引入 $d$-privacy 方法，提供个性化模型训练、形式上的隐私保证和显著优于传统联邦学习模型的群体公平性。

    Sep, 2023

  • 具差分隐私的联邦学习

    我们展示了在不同类型的数据上，客户端数量和差分隐私机制的增加对模型性能的影响的实证基准，结果显示在分布式和差分隐私设置中，非独立同分布和小数据集的性能降低最为显著。

    Feb, 2024

  • 在医学图像分析中提高私有联邦模型的性能

    本研究探讨联邦学习在医疗应用中的优势，分析其如何能够解决医疗数据隐私、安全及所有权等挑战，讨论如何通过本地步骤和沟通轮数的调整来进一步提高模型的性能，并提供了理论证明和实验评估的支持。

    Apr, 2023

  • 动态个性化联邦学习与激励

    本文介绍了一种名为 DyPFL 的动态个性化联邦学习技术，将受训练意愿不同的客户纳入考虑，以提高收敛性能。结果表明，该算法可以在各种条件下优于替代个性化方法。

    Aug, 2022

  • FedPFT: 基于联邦代理的基础模型迁移微调

    通过联邦学习策略对基础模型进行适应性调整，以保护数据隐私和有价值的基础模型，提出了一种新方法 Federated Proxy Fine-Tuning (FedPFT)，通过两个关键模块增强联邦学习下游任务中的基础模型的适应性。实验证据表明 FedPFT 方法的优越性。

    Apr, 2024

  • FedSelect：个性化联邦学习的参数定制选择

    本文提出了一种新的联邦学习框架，名为 FedSelect，可以通过发现最佳参数进行个性化，并同时进行其他参数进行全局聚合，以此同时地个性化客户子网络结构和参数。

    Jun, 2023

  • 公平联邦学习能否降低个性化需求？

    本论文通过策略提出了 Personalisation-aware Federated Learning (PaFL) 的模型，在语言任务中减少了 50% 的表现不佳客户端的数量，在图像任务中也避免了表现不佳客户端数量翻倍的情况，提高了边缘设备参与联邦学习的效率并有望在未来实验和理论分析上得到更多的应用。

    May, 2023

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • FedTune：使用预训练 Transformer 进行高效联邦微调的深入探究

    本文研究了如何有效地在联邦学习中使用预训练 Transformer 模型及其微调方法，实验结果表明，微调模型的偏置项是最好的策略，并且使用视觉 - 语言模型会比纯视觉模型的性能更好，且能提高模型精度并减少过拟合问题。

    Nov, 2022