Feb, 2021

FjORD：有序 Dropout 下异构目标的公平准确联邦学习

PDF
TL;DR我们在 Federated Learning 中引入了 Ordered Dropout 机制，结合自蒸馏方法，构建了 FjORD 框架来解决客户端系统异构性问题，实现了模型宽度的定制，达到了显著的性能提升。
federated learningclient heterogeneityordered dropoutself-distillation methodologyfjord
发现论文，激发创造
  • NeFL: 异构客户端的嵌套联邦学习

    嵌套联邦学习（NeFL）是一种通用的框架，通过深层次和宽度缩放有效地将模型划分为子模型，解决分布式学习中迟滞者对训练时间和性能的影响。此框架将模型解释为求解普通微分方程（ODEs）的方式，并通过解耦少量参数来解决训练多个具有不同架构的子模型时出现的不一致性。通过一系列实验，我们证明了 NeFL 可以显著提高性能，并且与联邦学习领域的最新研究相一致。

    Aug, 2023

  • 异构数据感知联邦学习

    本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

    Nov, 2020

  • 联邦 Dropout—— 一种简单的方法，在资源受限设备上实现联邦学习

    本文提出一种名为 Federated dropout (FedDrop) 的联邦式学习方案，该方案利用经典的 dropout 算法进行随机模型修剪。该方案可在减少通信开销和设备计算负载的同时，表现出比传统的 FL 和具有相同概率的子网的 FL 方案更好的效果。

    Sep, 2021

  • FedFOR: 无状态异构联邦学习与一阶正则化

    本文提出了一种基于分布式学习的新型算法，能够针对数据异质性问题，有效避免因数据分布不同而导致的本地数据更新差异性，提高模型的全局收敛性和学习效率。与现有算法不同，该算法不需要维护全局状态，适用于任意数量的客户端，能够用于网络边缘设备和移动应用等更典型的应用场景。

    Sep, 2022

  • 面向计算受限异构设备的联邦学习：综述

    随着越来越多的物联网设备在现场部署，将神经网络的训练卸载到中央服务器变得越来越不可行，本文调查了联合学习在克服异构性挑战方面的应用和益处。

    Jul, 2023

  • 编码联邦 Dropout 的快速服务器学习率调整

    本文利用编码理论来提高跨设备联合学习中的 Federated Dropout（FD）算法的训练精度，实现了较高的训练速度和与无 Dropout 情况下相同的最终精度，并在 EMNIST 数据集上取得了很好的效果。

    Jan, 2022

  • 无一落后：异构设备上的包容性联邦学习

    该研究提出了一种名为 InclusiveFL 的客户端包含的联邦学习方法，解决异构设备下的全局模型训练问题，并通过在不同大小的本地模型之间共享知识和动量知识蒸馏方法来实现客户端之间的模型学习和知识迁移，实验表明该方法在联邦学习框架下从客户异构设备中学习准确模型方面具有很好的效果。

    Feb, 2022

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

    Nov, 2021

  • 通过分布变换解决联邦学习中的异质性

    本文提出了一种新的框架 DisTrans，通过训练和测试时间的分布变换以及双输入通道模型结构来优化每个客户端的分布式偏移和模型，从而在面对不同程度的数据异质性时，提高联邦学习（FL）性能，评估结果表明，DisTrans 在多个基准数据集上的表现超越了其他现有方法。

    Oct, 2022

  • 无协调的复杂网络分散式联邦学习：克服异构性

    在高度普及的边缘场景中，缺乏中央控制器和预定的设备连接导致了复杂的网络结构，我们提出了一种通信高效的分散式联邦学习（DFL）算法来解决由数据和不同训练历史引起的异构学习难题，研究结果表明，与竞争方法相比，我们的解决方案能够训练出更好的本地模型并且在通信效率上更为优越。

    Dec, 2023