IJCAIApr, 2024

FedPFT: 基于联邦代理的基础模型迁移微调

PDF
TL;DR通过联邦学习策略对基础模型进行适应性调整，以保护数据隐私和有价值的基础模型，提出了一种新方法 Federated Proxy Fine-Tuning (FedPFT)，通过两个关键模块增强联邦学习下游任务中的基础模型的适应性。实验证据表明 FedPFT 方法的优越性。
发现论文，激发创造
  • 联邦基础模型：大型模型的隐私保护和协同学习

    本文介绍了一种结合了联邦学习和基础模型的隐私保存方法，即联邦基础模型，其中涉及该方法的不同方面和任务，以及与传统基础模型的比较和实验。

    May, 2023

  • FedTune：使用预训练 Transformer 进行高效联邦微调的深入探究

    本文研究了如何有效地在联邦学习中使用预训练 Transformer 模型及其微调方法，实验结果表明，微调模型的偏置项是最好的策略，并且使用视觉 - 语言模型会比纯视觉模型的性能更好，且能提高模型精度并减少过拟合问题。

    Nov, 2022

  • 参数特征转换：一次联邦学习与基础模型

    FedPFT 是一种使用参数特征传输的联邦学习方法，通过转移基础模型的参数模型来增强通信效率和准确性。FedPFT 在集中式和分散式联邦学习场景下的实验结果表明，在不同的数据异质性设置中，如协变量转移和任务转移，在通信准确性前沿方面提供了最高 20.6% 的改进。此外，FedPFT 遵循联邦学习中的数据最小化原则，并通过差分隐私提供了有利的隐私准确性权衡。

    Feb, 2024

  • 基于基础模型的联邦学习的进展与开放挑战

    综合调查了联邦基础模型（FedFM）领域，阐明了其与联邦学习（FL）的协同关系，并探索了 FL 研究领域在基础模型时代需要关注的新方法、挑战和未来方向。提出了一种系统的多层次分类法，对现有的 FedFM 方法进行了分类。全面讨论了关键挑战，包括如何使 FL 处理高复杂性的计算需求、隐私考虑、贡献评估和通信效率。这项调查强调了在 FedFM 领域进行进一步研究以推动创新的重要性，强调了开发可信解决方案的需求。作为研究人员和从业者参与这个跨学科和快速发展领域的基础指南。

    Apr, 2024

  • 当联邦学习遇到预训练语言模型的参数高效调整方法

    本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

    Dec, 2022

  • FedSelect：个性化联邦学习的参数定制选择

    本文提出了一种新的联邦学习框架，名为 FedSelect，可以通过发现最佳参数进行个性化，并同时进行其他参数进行全局聚合，以此同时地个性化客户子网络结构和参数。

    Jun, 2023

  • 基于联邦学习的基础模型协同优化：一项综述

    基于联邦学习与基础模型的潜力和挑战以及核心技术、未来方向和应用的综述。

    Jun, 2024

  • 评估基于基础模型的联邦学习的稳健性、隐私性和公平性

    通过将基础模型整合到联邦学习中，我们研究了其对稳健性、隐私和公平性的影响，并提出了一套应对这些挑战的标准和策略，同时确定了推进该领域的潜在研究方向，为构建可靠、安全和公平的联邦学习系统奠定了基础。

    Feb, 2024

  • 使用概率遮蔽进行基础模型的联邦微调

    DeltaMask 是一种新颖的方法，通过使用随机掩蔽检测基金会模型中的高效子网络，并利用客户端掩蔽的随机性和稀疏性，使用概率滤波器将更新压缩成紧凑的灰度图像，在超低比特率下有效地微调基金会模型，极大地提升通信效率，同时保持模型性能。

    Nov, 2023

  • 通过联合迁移学习使基础模型根植于实际：一个通用框架

    使用联邦迁移学习来接地基础模型是当前学术界和工业界重要的研究方向，该研究论文介绍了一个联邦迁移学习框架，对最新的研究工作进行了详细分类和综述，提供了高效和隐私保护技术，并探讨了联邦迁移学习未来的机会和研究方向。

    Nov, 2023