Oct, 2022

关于预训练和初始化在联邦学习中的影响：从何开始？

PDF
TL;DR本文研究了在联邦学习中使用预训练模型初始化的影响，结果显示，使用预训练模型可以减少训练时间和减小数据和系统异质性的影响，建议未来的工作应该在评估联邦优化方法时同时考虑预训练模型和随机初始化。
federated learningdata heterogeneitysystem heterogeneitypre-trained modeloptimization methods
发现论文，激发创造
  • 从预训练和初始化对联邦学习的影响开始

    研究表明：使用预训练模型可以减少联邦学习中由数据和系统异构性带来的影响，缩短训练时间并提高模型准确性。同时，作者建议未来研究需要考虑从随机和预训练初始化开始时使用联邦优化方法的性能。

    Jun, 2022

  • 重新思考起点：通过合作预训练提升联合学习的性能和公平性

    我们提出了一种协作预训练方法，CoPreFL，它通过设计一个预训练模型，能够为任何下游联邦学习任务提供良好的初始化，通过元学习算法在分布式场景中模拟下游任务，以适应任何未预料到的联邦学习任务，平衡平均性能和公平性，从而提高了平均性能和更公正的预测。

    Feb, 2024

  • 关于预训练在联邦学习中的重要性和适用性

    本文研究了在联邦学习中，预训练对于提高性能的重要性，并在人工生成的数据和分布式数据的情况下进行了探索，发现这些技术可以相互补充来进一步提高性能。然而，预训练似乎无法解决在非独立同分布数据情况下的局部模型漂移问题。

    Jun, 2022

  • 确保高效联邦学习的模型初始化技术综合研究

    机器学习中的隐私问题对于保护用户数据至关重要，联邦学习已成为一种有前景的方法，能够在分布式且保护隐私的方式下合作训练全局模型，而模型初始化是其学习过程中的关键部分，本研究深入探讨了联邦学习中各种模型初始化技术的优缺点并提出了创新性的解决方案。

    Oct, 2023

  • 重新思考联邦学习中的数据异质性：引入新概念和标准基准

    我们研究了数据异质性对联邦学习的影响，发现许多之前的联邦学习方法并没有深入探讨不同类型的数据异质性以及这些异质性如何影响参与客户端的准确性表现。我们研究发现，当前设置中的数据异质性不一定是问题，事实上，它对 FL 参与者有益。

    Sep, 2022

  • 稳健联邦学习的进展：异质性考虑

    异构联邦学习领域中，关键挑战是在具有不同数据分布、模型结构、任务目标、计算能力和通信资源的多个客户端之间高效协作训练模型。本文首先概述了异构联邦学习的基本概念，并从数据、模型、任务、设备和通信五个方面总结了在联邦学习中的研究挑战。此外，我们探讨了现有最先进的方法如何应对异构联邦学习的异质性，并将这些方法在数据级别、模型级别和架构级别进行分类和回顾。随后，本文详细讨论了在异构联邦学习环境中的隐私保护策略。最后，本文讨论了目前存在的开放问题和未来研究方向，旨在推动异构联邦学习的进一步发展。

    May, 2024

  • 异构网络中的联邦优化

    本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

    Dec, 2018

  • 通过梯度多样性最大化解决联邦优化的混合异质性问题

    研究了混合异构性如何影响联邦优化，通过调查服务器端优化表明，自适应地最大化梯度多样性在服务器更新方向上可以帮助缓解混合异构性的潜在负面影响，引入了具有理论保证的新型基于梯度的优化器 FedAWARE，通过在异构联邦设置中进行大量实验表明，我们的提议优化器可以显著提升不同程度的混合异构性下联邦学习的性能。

    Oct, 2023

  • 为下一词预测而预训练联邦文本模型

    本研究采用转移学习的思想，将预训练的嵌入和整个模型预训练与联邦训练相结合，为基于 Stack Overflow post 的下一个词预测任务带来了显著提升，提供了更严谨的转移学习技术在联邦学习中的实验。

    May, 2020

  • FedPH: 增强隐私的异构联邦学习

    提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

    Jan, 2023