Oct, 2023

具有群组感知提示调整的异构联邦学习

PDF
TL;DR在联邦学习中，我们利用预训练的 Transformer 和高效的提示调整策略，通过引入学习共享和组特定提示的概念，使全局模型能够自动适应各种局部客户数据分布，从而有效地弥合全局和个性化本地模型之间的差距，并超越以往无法适应之前未见客户的其他方法。
transformersfederated learningheterogeneous scenariosprompt-tuning strategypersonalized group prompts
发现论文，激发创造
  • 通过客户特定的提示生成在联邦学习中进行高效模型个性化

    我们提出了一种新型的个性化联邦学习框架 pFedPG，通过在服务器上学习部署个性化提示生成器，生成适应本地数据分布的特定于客户端的视觉提示，以实现从大规模模型中获取强大表示能力同时为异构客户端实现高效个性化模型优化。

    Aug, 2023

  • 可调的软提示是联邦学习中的信使

    通过可调整的软提示实现参与者之间的信息交流，以在损失较少的全局模型的基础上保护全局模型，减少联邦学习中的通信和计算成本。

    Nov, 2023

  • FedPrompt: 基于联邦学习的高效通信和隐私保护 Prompt 调整

    本文提供了一种名为 FedPrompt 的新方法，将 prompt tuning 和 federated learning (FL) 相结合，以在保护数据隐私的同时提高 FL 方法的效率。该方法在传统方法的基础上使用模型拆解聚合的方式来使用 prompt tuning，证明了这种方法减小了大量的通信成本，同时在 IID 和 Non-IID 数据分布上保证准确性，并且在实验中进一步证明了该方法的可靠性。

    Aug, 2022

  • 利润：联邦提示调优中个性化和鲁棒性权衡的基准化

    在联邦学习中，通过有限的本地更新和计算限制，对大型语言模型进行 FEFT（参数高效微调）时，需要平衡个性化和鲁棒性之间的权衡，研究结果表明采用小学习速率和许多局部训练轮次进行个性化时，联邦训练的提示可以在很大程度上保持鲁棒性。

    Oct, 2023

  • 联邦学习中的包容性数据表示：将文本与视觉提示集成的新方法

    联邦学习经常受到通信开销问题的阻碍。为了解决这个问题，我们提出了双提示联邦学习（TPFL），它整合了视觉和文本模态以更全面地描绘本地客户端数据特征。此外，为了应对数据异质性问题，我们引入了增强型 TPFL（ATPFL），并采用对比学习技术，不仅增强了客户端模型的全局知识获取能力，还促进了稳健、紧凑模型的发展。我们的详尽评估结果表明，TPFL 和 ATPFL 相比于所有基准模型始终表现出更优异的性能。

    Oct, 2023

  • 领域感知联邦学习的双提示调优

    本研究介绍了一种名为 Federated Dual Prompt Tuning (Fed-DPT) 的新方法，利用预训练的视觉 - 语言模型并应用视觉和文本提示调整来解决领域移位问题，并通过实验证明了其在领域感知的联邦学习中的重要有效性。

    Oct, 2023

  • 增强大规模异质联邦学习的展望与转换器

    分布式数据合作的联邦学习旨在解决数据隐私问题，该研究通过比较实验证明基于 Transformer 的联邦学习模型在大规模异构任务中具有泛化和个性化方面的优势。

    Aug, 2023

  • 具有参数高效的提示调整和自适应优化的大规模语言模型联合学习

    FedPepTAO 是一种参数高效的提示调优方法，采用自适应优化来实现高效且有效的大语言模型的联邦学习，通过改进性能和效率的同时解决设备和服务器端的客户漂移问题。

    Oct, 2023

  • 语言引导的联邦多标签分类的 Transformer

    提出了一种用于多标签分类的新型联邦学习框架（FedLGT），旨在解决用户异构性和标签相关性等挑战，通过在不同客户端之间传递知识来学习出稳健的全局模型，实验证明在多标签联邦学习场景下超过了标准联邦学习技术，并获得了令人满意的性能。

    Dec, 2023

  • FedHPL：高效异构联邦学习中的提示调整和逻辑蒸馏

    基于 Prompt 调优和 Logit 蒸馏的参数高效统一的异构联邦学习框架 FedHPL 能够有效应对异构挑战，改善模型性能和加速训练，在多种数据集和模型设置下，性能优于当前最先进的联邦学习方法。

    May, 2024