稀疏训练与正则化误差修正的联邦学习
本文提出了一种公平性感知的梯度稀疏化方法，以及一种自适应梯度稀疏化技术，能够在控制梯度稀疏度的情况下，最小化整体训练时间，实验结果表明，相对于传统方法，通过本文所提方法，能够在有限的训练时间内提升40%的模型准确度。
Jan, 2020
本文介绍了一种基于稀疏通信框架的时间相关稀疏化（TCS）方案，通过寻找联邦学习中连续迭代中使用的稀疏表示之间的相关性，以显著减少编码和传输的开销，以提高测试准确性，并演示了在 CIFAR-10 数据集上使用量化加时间相关稀疏化方法时，可实现 100 倍稀疏化的集中式训练准确性并减少高达 2000 倍的通信负载。
Jan, 2021
本文提出了一种称为Federated Dynamic Sparse Training（FedDST）的novel FL框架，旨在动态提取和训练目标网络中的稀疏子网络，并实现了在设备计算和网络通信方面的高效，相对于固定稀疏掩模的方法，它在本地异质性适应和FL性能方面具有较大的优势，在非i.i.d FL设置下，FedDST在数据传输上的表现显著优于竞争性算法。
Dec, 2021
提出了一种基于高度稀疏操作的ZeroFL框架，用于加速On-device训练，使Federated Learning能够训练高性能机器学习模型，并提高了精度。
Aug, 2022
在联邦学习中，通过使用随机二进制掩码学习最佳稀疏随机网络，避免了每轮从客户端向服务器交换权重更新的大量通信成本，大幅提高了准确性、收敛速度和模型大小，在低比特率模式下通信效率显著优于相关基准。
Sep, 2022
本研究提出了一种新的联邦学习框架(FedDIP)，通过动态模型修剪和错误反馈相结合的方式，来控制参数交换并实现模型稀疏化，以达到与其他模型修剪方法相媲美或更好的性能。
Sep, 2023
本研究提出了一种新的方法，用于增强随机联合学习中的通信效率，该方法在超参数随机网络上进行训练。通过优化二进制掩码而不是模型权重，实现对稀疏子网络的表征，其泛化效果与更小的目标网络相当好。与传统的联合学习中浮点权重相比，仅交换稀疏的二进制掩码，从而将通信成本降低到每个参数至多1个比特。通过实验证明，之前最先进的随机方法无法找到能够使用一致损失目标减少通信和存储开销的稀疏网络。为了解决这个问题，我们提出在本地目标中添加正则化项，以在子网络之间消除冗余特征并鼓励更稀疏的解决方案。大量实验证明，在一些实例中，与文献相比，通信和内存效率显著提高了五个数量级，并且在验证准确性方面几乎没有性能下降。
Sep, 2023
该研究论文介绍了稀疏训练和加速通信在Federated Learning中的整合方法Sparse-ProxSkip，并在大量实验证明了其良好性能。
May, 2024
SpaFL提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导SpaFL的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明SpaFL在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。
Jun, 2024
提出了一种错误反馈压缩式纵向联邦学习（EFVFL）方法，该方法通过利用错误反馈，在满批次情况下实现了$\mathcal{O}(1/T)$的收敛速度，改善了垂直FL中压缩方法的收敛速度，并且与未压缩的方法相匹配，同时支持使用私有标签。数值实验证实了该方法在改善收敛速度方面的优越性，并验证了理论结果。
Jun, 2024