Nov, 2020

自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

PDF
TL;DR本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。
privacy-sensitive data protectiondecentralized machine learningfederated learningadaptive federated dropoutcommunication costs
发现论文，激发创造
  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022

  • 联邦学习：提高通信效率的策略

    本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

    Oct, 2016

  • 通过减少客户资源需求扩大联邦学习的覆盖范围

    采用两种新策略（global model 压缩和 Federated Dropout）和现有压缩方法的结合，可以综合降低联邦学习对服务器到客户端通信的成本高达 14 倍、本地计算量 1.7 倍并在上传通信方面降低 28 倍，同时不降低最终模型的质量，从而全面降低了联邦学习对客户端设备资源的影响。

    Dec, 2018

  • 在航空领域中，将联邦学习和主动学习相结合以实现通信高效的分布式故障预测

    本文提出了一种基于中心化分布式学习算法，结合主动学习和联邦学习范式，优化计算和通信资源利用，实现了精确模型预测性能，且表现接近非分布式学习的最新水平。

    Jan, 2020

  • 基于贝叶斯推断的自适应 dropout 联邦学习：通信高效且准确性保证的 FedBIAD

    在这篇论文中，我们提出了一种基于贝叶斯推理的自适应辍学方法（FedBIAD），通过逐行将局部模型权重转化为概率分布，并自适应地根据与本地训练损失趋势相关的重要性指标辍掉部分权重行，从而在减少上行通信成本的同时提高准确性，理论分析证明 FedBIAD 的平均泛化误差的收敛速度是最小最大的，甚至在非独立同分布数据上可以提高 2.41% 的准确率，并最多缩短 72% 的训练时间。

    Jul, 2023

  • 基于分散数据通信高效学习深度网络

    Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

    Feb, 2016

  • 基于动态注意力的通信高效联邦学习

    本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

    Aug, 2021

  • FedDD: 以差分参数丢弃实现高效的通信节约联邦学习

    基于模型参数的丢弃而非客户选择的联合学习方案，通过优化上传比例和重要参数选择，提高通信效率和模型收敛速度。

    Aug, 2023

  • 主动联邦学习

    该研究提出了一种便捷、简单的采样方案，用于减少联邦学习迭代次数并最大程度提高效率，主要研究领域包括联邦学习、人口模型、梯度和采样方案。

    Sep, 2019

  • 基于知识蒸馏的通信高效联邦学习 (FedKD)

    本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取得竞争性的结果。

    Aug, 2021