Jul, 2023

FedYolo：使用预训练变换器增强联邦学习

PDF
TL;DR本研究探讨了使用预训练转换器来实现设备上的联合学习目标，并深入研究了模型大小和模块化的作用，其中 Modularity 通过提示或适配器等模块实现适应性，Scale 能够减少通信次数。结果证明，使用单个通用模型可以解决多个不相关的任务，并且 FedYolo 是一种对规模和模块化具有新的启示且有效的联合学习方法。
federated learningpretrained transformersmodularityscaleon-device learning
发现论文，激发创造
  • 移动边缘网络中基于分层部分模型训练的抗闲杂器弹性联邦学习：应对计算异质性

    联邦学习通过协作训练模型，避免数据共享，适用于资源有限的设备。本文提出了一种面向模型异构性的联邦学习算法，称为联邦部分模型训练（FedPMT），通过设备之间合作训练局部模型并贡献到全局模型，从而实现全局模型的优化训练。理论分析表明，与传统方法相比，FedPMT 算法具有类似的收敛速度，实证结果也证明其在学习准确性和完成时间之间取得了更好的平衡。

    Nov, 2023

  • FedTrans: 异质客户端之间的高效联合学习通过模型转换

    FedTrans 是一个多模型联邦学习训练框架，可以自动为大规模异构客户端生成和训练高准确性、硬件兼容的模型，显著提高了个体客户端模型的准确性并降低了训练成本。

    Apr, 2024

  • 具有群组感知提示调整的异构联邦学习

    在联邦学习中，我们利用预训练的 Transformer 和高效的提示调整策略，通过引入学习共享和组特定提示的概念，使全局模型能够自动适应各种局部客户数据分布，从而有效地弥合全局和个性化本地模型之间的差距，并超越以往无法适应之前未见客户的其他方法。

    Oct, 2023

  • 面向联邦学习的数据异构化处理架构设计思考

    本文提出使用自注意力机制的神经网络模型（如 Transformer），替代传统的卷积神经网络模型，以改进联邦学习中的模型性能和稳定性，尤其当处理异构数据的时候，可以大大降低模型遗忘和加快模型学习收敛速度。

    Jun, 2021

  • 跨设备联邦学习中语言模型尺寸的扩展

    本文利用局部模型训练、量化、有效的迁移学习和通信高效的优化器等技术来解决服务器 - 客户端通信和设备上计算的瓶颈，实现跨设备联邦学习中的较大语言模型训练，并且获得了与小型 LSTM 相当甚至更好的困惑度和更低的客户端到服务器通信成本。

    Mar, 2022

  • FedTune：使用预训练 Transformer 进行高效联邦微调的深入探究

    本文研究了如何有效地在联邦学习中使用预训练 Transformer 模型及其微调方法，实验结果表明，微调模型的偏置项是最好的策略，并且使用视觉 - 语言模型会比纯视觉模型的性能更好，且能提高模型精度并减少过拟合问题。

    Nov, 2022

  • 通过客户特定的提示生成在联邦学习中进行高效模型个性化

    我们提出了一种新型的个性化联邦学习框架 pFedPG，通过在服务器上学习部署个性化提示生成器，生成适应本地数据分布的特定于客户端的视觉提示，以实现从大规模模型中获取强大表示能力同时为异构客户端实现高效个性化模型优化。

    Aug, 2023

  • 混合分布下的联邦多任务学习

    该研究提出了一种基于混合模型假设的联邦多任务学习方法，该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛，同时在联邦学习基准测试中获得了更高的准确性和公平性。

    Aug, 2021

  • FedTP: 基于 Transformer 个性化的联邦学习

    研究探讨联邦平均算法对自注意力的影响，发现数据异构性制约了 Transformer 在联邦学习中的能力，提出一种新的基于 Transformer 的联邦学习框架 FedTP 并引入了学习个性化机制来进一步鼓励合作。实验证明，FedTP 与学习个性化机制具有非 IID 情形下最先进的性能。

    Nov, 2022

  • 增强大规模异质联邦学习的展望与转换器

    分布式数据合作的联邦学习旨在解决数据隐私问题，该研究通过比较实验证明基于 Transformer 的联邦学习模型在大规模异构任务中具有泛化和个性化方面的优势。

    Aug, 2023