Jun, 2024

拥抱联邦学习：通过部分模型训练实现弱客户参与

PDF
TL;DREmbracingFL 是一种分布式学习方法，基于一种新型的部分模型训练方法，允许所有可用的客户端参与分布式训练，改进了 Federated Learning 的效率。
federated learningembracingflpartial model training methodfl efficiencydistributed learning
发现论文，激发创造
  • 部分参与下加速混合联邦学习的收敛

    本文提出了一种名为 FedCLG 的新算法，它可以在类似于混合 FL 的情形下防止部分参与的限制，同时保护客户隐私并实现模型聚合。数值实验表明，该算法胜过现有方法。

    Apr, 2023

  • 无一落后：异构设备上的包容性联邦学习

    该研究提出了一种名为 InclusiveFL 的客户端包含的联邦学习方法，解决异构设备下的全局模型训练问题，并通过在不同大小的本地模型之间共享知识和动量知识蒸馏方法来实现客户端之间的模型学习和知识迁移，实验表明该方法在联邦学习框架下从客户异构设备中学习准确模型方面具有很好的效果。

    Feb, 2022

  • NeFL: 异构客户端的嵌套联邦学习

    嵌套联邦学习（NeFL）是一种通用的框架，通过深层次和宽度缩放有效地将模型划分为子模型，解决分布式学习中迟滞者对训练时间和性能的影响。此框架将模型解释为求解普通微分方程（ODEs）的方式，并通过解耦少量参数来解决训练多个具有不同架构的子模型时出现的不一致性。通过一系列实验，我们证明了 NeFL 可以显著提高性能，并且与联邦学习领域的最新研究相一致。

    Aug, 2023

  • 朋友助力：拯救联邦学习于客户端退出

    FL-FDMS 是一种解决了分布式机器学习框架中部分参与中的客户端退出问题的算法，能够使用朋友节点的本地更新来代替退出客户端的数据，从而提高算法的性能和效率。

    May, 2022

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 部分联邦学习

    我们提出了一种名为 Partial Federated Learning (PartialFL) 的新算法，该算法使用一部分数据模态或其中间表示来训练机器学习模型，并通过禁止数据标签传送到云端进行模型训练以提高隐私保护效果，我们在两个不同的多模态数据集上评估了我们的方法，并展示了有希望的结果。

    Mar, 2024

  • 开发联邦学习以实现深度模型的潜力

    在研究中，发现当将现有的联邦学习框架应用于更深的神经网络时，性能会显著下降，主要原因是由于在层间反向传播过程中不同客户端模型之间的不一致性逐步积累，称为 “发散累积”，提出了减少发散的技术指南，如使用更宽的模型和减少接受场，这些方法可以大大提高联邦学习在更深层次上的准确性。

    Jun, 2023

  • 联邦学习的进展：模型、方法和隐私

    本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

    Feb, 2023

  • 具有类别不平衡减少的联邦学习

    用于解决联邦学习中数据隐私问题导致的设备端数据无法被中心服务器使用的问题，本文提出了一种基于估计方案的设备选择算法，以最小化类别不平衡来提高联邦学习全局模型的收敛性能。

    Nov, 2020

  • FedGEMS: 通过选择性知识融合进行较大服务器模型的联合学习

    研究围绕联邦学习，提出使用强大的服务器模型帮助边缘设备解决模型容量问题，通过选择性地从多个客户端和自己进行学习，开发了深度知识并返回给客户端，取得了在图像分类任务中的优秀性能。

    Oct, 2021