Sep, 2023

基于基础模型与异构联邦学习的融合

PDF
TL;DR资源感知的联邦基础模型（RaFFM）引入了针对联邦学习场景的特殊模型压缩算法，实现对给定的基于 Transformer 的基础模型的动态缩放，以适应网络边缘的异构资源约束。实验结果表明，RaFFM 在资源利用效率上显示出显著优势，并使用较少的资源将基础模型部署到联邦学习中，虽然资源消耗较低，但经 RaFFM 优化的目标模型在自然语言处理和计算机视觉领域的各项任务中表现出与应用于全尺寸基础模型的传统联邦学习方法相当的性能。
federated learningresource-aware federated foundation modelsmodel compressionresource utilization efficiencyperformance optimization
发现论文，激发创造
  • 基于基础模型的联邦学习的进展与开放挑战

    综合调查了联邦基础模型（FedFM）领域，阐明了其与联邦学习（FL）的协同关系，并探索了 FL 研究领域在基础模型时代需要关注的新方法、挑战和未来方向。提出了一种系统的多层次分类法，对现有的 FedFM 方法进行了分类。全面讨论了关键挑战，包括如何使 FL 处理高复杂性的计算需求、隐私考虑、贡献评估和通信效率。这项调查强调了在 FedFM 领域进行进一步研究以推动创新的重要性，强调了开发可信解决方案的需求。作为研究人员和从业者参与这个跨学科和快速发展领域的基础指南。

    Apr, 2024

  • 评估基于基础模型的联邦学习的稳健性、隐私性和公平性

    通过将基础模型整合到联邦学习中，我们研究了其对稳健性、隐私和公平性的影响，并提出了一套应对这些挑战的标准和策略，同时确定了推进该领域的潜在研究方向，为构建可靠、安全和公平的联邦学习系统奠定了基础。

    Feb, 2024

  • 联邦基础模型：大型模型的隐私保护和协同学习

    本文介绍了一种结合了联邦学习和基础模型的隐私保存方法，即联邦基础模型，其中涉及该方法的不同方面和任务，以及与传统基础模型的比较和实验。

    May, 2023

  • 基础模型与联邦学习的相遇：动机、挑战和未来方向

    本文探讨了基础模型和联邦学习之间的相互作用，旨在深化其协同作用的理解并挖掘这两个领域的潜力，鼓励未来的研究方向，以进一步提高隐私保护和可伸缩性的人工智能系统的发展。

    Jun, 2023

  • 基于联邦学习的基础模型协同优化：一项综述

    基于联邦学习与基础模型的潜力和挑战以及核心技术、未来方向和应用的综述。

    Jun, 2024

  • 在无线世界中基于模型的联邦学习的作用

    研究了基础模型在无线网络的联邦学习中的适用性，并探讨了集成基础模型和联邦学习实现未来智能网络的多个新范例和相关研究方向。

    Oct, 2023

  • 使用基础模型导航联邦推荐系统的未来

    综合评述了基于联邦学习和推荐系统的联邦推荐系统，讨论了数据异质性和数据稀缺性等固有限制，并介绍了基础模型的应用和研究方向，以及领域内的常见挑战、未来研究方向和评估指标。

    May, 2024

  • 面向资源受限环境的自适应联邦学习方法

    本研究提出了一种资源自适应异步联邦学习算法 (Fed-RAA)，通过根据计算和通信能力分配全局模型的片段给不同的参与客户端，从而解决异构资源下的联邦学习问题。该方法在理论上证实了收敛性，并设计了一种基于贪心算法的在线分配策略，与离线策略相比具有可比拟的公平性。通过对 MNIST、CIFAR-10 和 CIFAR-100 的实验结果以及对比和消融研究，证明了本研究的优势。据我们所知，该论文是首个具备理论收敛保证的资源自适应异步的基于片段的联邦学习方法。

    Jun, 2024

  • 利用基础模型改进联邦学习中的轻量级客户端

    通过使用基础模型蒸馏进行联邦训练，提高轻量级客户模型在异构数据环境下的性能，并降低推理成本。

    Nov, 2023

  • FedMS: 带有稀疏激活基模型的联邦学习

    提出了一种名为 FedMS 的新型两阶段联邦学习算法，使用全局专家和本地专家构建混合基准模型（MoFM），设计了一个门控神经网络插入门适配器来在第二阶段的每一轮通信中进行聚合，并使用一种新型 SAL 算法来适应具有有限计算资源的边缘计算场景，实验证明 FedMS 在默认设置下超过其他 SOTA 基准模型的性能达到 55.25% 的提升。

    Dec, 2023