Jul, 2023

基于贝叶斯推断的自适应 dropout 联邦学习：通信高效且准确性保证的 FedBIAD

PDF
TL;DR在这篇论文中，我们提出了一种基于贝叶斯推理的自适应辍学方法（FedBIAD），通过逐行将局部模型权重转化为概率分布，并自适应地根据与本地训练损失趋势相关的重要性指标辍掉部分权重行，从而在减少上行通信成本的同时提高准确性，理论分析证明 FedBIAD 的平均泛化误差的收敛速度是最小最大的，甚至在非独立同分布数据上可以提高 2.41% 的准确率，并最多缩短 72% 的训练时间。
federated learningbayesian inference-based adaptive dropoutuplink communicationprivacy leakageconvergence rate
发现论文，激发创造
  • 自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

    本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。

    Nov, 2020

  • 联邦贝叶斯深度学习：统计聚合方法在贝叶斯模型中的应用

    通过分析六种不同的聚合策略，我们使用独立同分布（IID）和非独立同分布（non-IID）的 CIFAR-10 数据集以及完全变种 ResNet-20 结构来构建贝叶斯深度学习（DL）模型的联邦学习（FL）系统的关键超参数，从而影响准确性、校准性、不确定性量化、训练稳定性和客户端计算要求。

    Mar, 2024

  • 联邦 Dropout—— 一种简单的方法，在资源受限设备上实现联邦学习

    本文提出一种名为 Federated dropout (FedDrop) 的联邦式学习方案，该方案利用经典的 dropout 算法进行随机模型修剪。该方案可在减少通信开销和设备计算负载的同时，表现出比传统的 FL 和具有相同概率的子网的 FL 方案更好的效果。

    Sep, 2021

  • 基于动态注意力的通信高效联邦学习

    本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

    Aug, 2021

  • 基于贝叶斯的无线网络联邦学习

    本文提出了一种基于贝叶斯的联合学习算法（BFL）和一种高效的改进算法（Scalable-BFL），通过优化均方误差，聚合异构的离散梯度信息，在 MNIST 数据集上的模拟实验中，这两种算法在异构网络上训练和测试神经网络时都比传统的随机梯度下降算法表现得更好。

    Dec, 2020

  • 编码联邦 Dropout 的快速服务器学习率调整

    本文利用编码理论来提高跨设备联合学习中的 Federated Dropout（FD）算法的训练精度，实现了较高的训练速度和与无 Dropout 情况下相同的最终精度，并在 EMNIST 数据集上取得了很好的效果。

    Jan, 2022

  • Fedward：非独立同分布数据下的灵活联邦后门防御框架

    提出了一个灵活的联邦后门防御框架 (Fedward)，使用放大幅度稀疏化（AmGrad）和自适应 OPTICS 聚类（AutoOPTICS）以及自适应剪裁方法来确保在保留性能的同时消除对抗性后门攻击 (FBA)，实验结果表明 Fedward 可以取得很好的防御效果。

    Jul, 2023

  • 聚类 FedStack：具有贝叶斯信息准则的中间全球模型

    基于已发布的堆叠联邦学习（FedStack）框架，本研究提出了一种新颖的聚类联邦堆叠（Clustered FedStack）框架，通过采用三种聚类机制，并结合贝叶斯信息准则（BIC）和循环学习率方法，能有效克服联邦学习中的数据分布不同和标签不平衡的问题，优于基准模型的性能。

    Sep, 2023

  • FedDD: 以差分参数丢弃实现高效的通信节约联邦学习

    基于模型参数的丢弃而非客户选择的联合学习方案，通过优化上传比例和重要参数选择，提高通信效率和模型收敛速度。

    Aug, 2023

  • 利用隐式八卦来强化联邦学习：在未知和任意动态中缓解连接不可靠性

    研究了在存在随机和动态通信故障的情况下的联邦学习，提出了 Federated Postponed Broadcast（FedPBC）方法，通过推迟广播全局模型，在非凸目标函数中达到稳定点，通过实验验证了分析结果。

    Apr, 2024