本论文提出了一种新颖的通信高效的分离学习（Split Learning）框架，名为 SplitFC，它通过减少 SL 训练过程中传输中间特征向量和梯度向量所需的通信开销。SplitFC 使用两种压缩策略：自适应特征丢弃和自适应特征量化，其实现方式分别是根据向量标准差确定自适应丢弃概率和根据向量范围确定自适应量化级别。实验结果表明，与最先进的 SL 框架相比，SplitFC 在 MNIST、CIFAR-10 和 CelebA 数据集上提供了超过 5.6％的分类准确性提升，同时所需通信开销比不使用压缩的基础 SL 框架少 320 倍。

Jul, 2023

根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。

May, 2021

本研究提出了 Sparse Ternary Compression (STC)，一种针对 Federated Learning 环境的新型压缩框架。实验表明，STC 在常见 Federated Learning 场景下，即使客户端持有非 iid 数据、使用小的 batch size 进行训练或参与率较低，也比 Federated Averaging 表现更佳。此外，即使客户端持有 iid 数据并使用中等大小的批次进行训练，STC 仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度，表现超越了 Federated Averaging。

Mar, 2019

我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

提出了一种错误反馈压缩式纵向联邦学习（EFVFL）方法，该方法通过利用错误反馈，在满批次情况下实现了 $\mathcal {O}(1/T)$ 的收敛速度，改善了垂直 FL 中压缩方法的收敛速度，并且与未压缩的方法相匹配，同时支持使用私有标签。数值实验证实了该方法在改善收敛速度方面的优越性，并验证了理论结果。

Jun, 2024

我们提出了一种名为 Power-EF 的算法，通过一种新颖的误差反馈方案，只传递经过压缩的信息，实现异构联邦学习中逃离鞍点的分布式和压缩的 SGD 算法，无需任何数据均匀性假设，并且在访问一阶（可能是鞍点）点之后，仅使用几乎与一阶收敛所需相同数量的梯度查询和通信轮次进一步提高到二阶稳定点，其收敛速度以工作器数量的线性加速度变化。

Oct, 2023

通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

Jul, 2020

本文介绍了一种基于稀疏通信框架的时间相关稀疏化（TCS）方案，通过寻找联邦学习中连续迭代中使用的稀疏表示之间的相关性，以显著减少编码和传输的开销，以提高测试准确性，并演示了在 CIFAR-10 数据集上使用量化加时间相关稀疏化方法时，可实现 100 倍稀疏化的集中式训练准确性并减少高达 2000 倍的通信负载。

Jan, 2021

通过模型压缩和软聚类提出了一种可以同时用于上行和下行压缩的 Federated Learning 压缩算法，可以显著减少通信流量并在实际网络中提高学习效率。

May, 2021