使用二进制神经网络的通信高效联邦学习

MMOct, 2021

使用二进制神经网络的通信高效联邦学习

Communication-Efficient Federated Learning with Binary Neural Networks

Yuzhi Yang, Zhaoyang Zhang, Qianqian Yang

TL;DR该研究提出了一种使用二进制神经网络在联邦学习框架下进行训练的新方法，通过最大似然估计参数更新方案和理论推导，实现在无需聚合实值辅助参数的情况下，维持性能同时显著降低通信开销。

Abstract

federated learning (FL) is a privacy-preserving machine learning setting that enables many devices to jointly train a shared global model without the need to reveal their data to a central server. However, FL involves a frequent exchange of the parameters between all the clients and th

federated learning binary neural networks communication overhead efficiency parameter updating

发现论文，激发创造

具有客户端级差分隐私的二进制联邦学习

提出了一种具有差分隐私保证的通信高效的联邦学习训练算法，采用二进制神经网络 (BNNs) 并引入离散噪声以实现客户级别的隐私保护。通过实验证明，该算法在保证隐私的同时，实现了较低的通信开销和性能提升。

Aug, 2023

无线网络上高效计算与通信的联邦学习

通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

Sep, 2023

一种基于区块链的带压缩通信的快速联邦学习框架

本研究提出了一种快速、基于区块链的高效通信联邦学习框架，称为 BCFL，通过压缩通信实现了 95-98% 的通信流量减少和 90-95% 的训练时间缩短，同时导出了非凸损失的收敛速度和双凸优化问题以提高训练效果。

Aug, 2022

异构数据感知联邦学习

本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

Nov, 2020

带噪标签的高效鲁棒联邦学习通信优化

本文研究基于联邦学习的标签噪声问题，并提出了一种基于学习的重新加权方法来减轻该问题的影响。同时，本文还提出了一种名为 Comm-FedBiO 的方法来解决通信效率低的 Federated Bilevel Optimization 问题，并在多个真实世界数据集上验证了其表现优于其他方法。

Jun, 2022

基于贝叶斯的无线网络联邦学习

本文提出了一种基于贝叶斯的联合学习算法（BFL）和一种高效的改进算法（Scalable-BFL），通过优化均方误差，聚合异构的离散梯度信息，在 MNIST 数据集上的模拟实验中，这两种算法在异构网络上训练和测试神经网络时都比传统的随机梯度下降算法表现得更好。

Dec, 2020

探索联邦学习的实用性：从通信的角度进行调查

调查分析了通信高效的联合学习方法，定义了通信效率的度量方法并提供了系统全面的分类和评述，讨论了提高联合学习系统通信效率的未来研究方向。

May, 2024

面向轻量通信设计的联邦学习压缩

本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

Oct, 2023

宽带通信中的空中联邦学习

本文提出一种新的方法，将联合学习与 MIMO 系统的内部工作无缝集成，实现隐私保护的分布式机器学习.

Jun, 2023

基于最优客户端采样的通信高效联邦学习

本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

Jul, 2020