- FedMPQ：具有多编码本产品量化的安全和通信高效的联邦学习
在本研究中，我们提出了一种名为 FedMPQ 的新型上行通信压缩方法，它基于多共享码本乘积量化。通过利用前一轮的更新来生成足够强健的码本，我们实现了安全聚合。与以往的方法相比，我们的方法在数据不独立且分布不一致（non-IID）且缺乏足够的 - EControl: 基于压缩和误差控制的快速分布式优化
本文研究了在现代分布式训练中，使用一种受欢迎的压缩算法类来减少通信开销，提出了一种新的机制 EControl，以调节误差补偿并证明其在标准凸性、一般凸性和非凸性等设置下的快速收敛性。
- 基于通信压缩的随机控制平均的联邦学习
通过多样的虚拟学习方法，本文提出了对压缩联邦学习算法进行改进的方法，并验证了其在通信和计算复杂性方面的出色表现。
- 无偏压缩在分布式优化中节省通信开销的时间和程度
本文探讨了在分布式优化中，无偏压缩是否降低了总通讯成本，最终给出了条件和理论分析支持独立无偏压缩可以将总通讯成本降低到 O (根号下 min {n,kappa})。
- 带梯度剪裁和通信压缩的分散非凸优化的收敛和隐私性
本文利用 PORTER 方法对去中心化的机器学习使用通信压缩和梯度裁剪进行了研究，并提供了更好的收敛保证，同时也突出了收敛速度、压缩比率、网络连通性和隐私之间的权衡。
- 分布式随机优化中的下限与通信压缩加速算法
本文研究了利用通信压缩的分布式随机优化算法的性能上限，并提出了 NEOLITHIC 算法，该算法在温和条件下实现所建立的理论下限。
- 使用异步一比特通信提升分布式全图 GNN 训练
本文提出了一种高效的分布式图神经网络（GNN）训练框架 Sylvie，该框架采用一位量化技术和有界延迟的调整器来缩减通信开销，同时保持模型质量，在各种模型和数据集上进行了广泛实验验证，结果表明，该框架能够将训练吞吐量显著提高 28.1 倍。
- 个性化联邦学习与通信压缩
本文提出通过在个体边缘设备上训练个性化模型以取代传统机器学习模型，以解决数据异质性带来的问题，并对新算法 Loopless Gradient Descent 进行了压缩优化，实验结果表明该算法比其他基于压缩的算法运行效率更高且收敛速度不低于 - ICLR方差降低是拜占庭问题的解药：更好的收敛速率，较弱的假设条件，以及通信压缩作为锦上添花
本研究提出了一种名为 Byx-VR-MARINA 的新的拜占庭容错方法，其中方差降低是更有效地对抗拜占庭工人的关键，而通信压缩是使过程更具通信效率的奖励。这项工作还对非凸和 Polyak-Lojasiewicz 损失函数的拜占庭容忍方法进行 - ICMLMARINA：使用压缩提升非凸分布式学习速度
本文提出了一种新的、基于压缩梯度差异的分布式学习方法 MARINA，并分别从理论和实践层面证明了该方法的优越性，特别是利用了偏梯度估计器和局部参与等特性。
- 1-bit Adam：高效通讯的 Adam 收敛速度大规模训练
本文提出使用 1 位 Adam 方法和误差补偿压缩技术来提高通信效率和扩展性， 实验结果表明，该方法在 BERT 和 SQuAD 任务上能够显著加速训练，同时保证了收敛速度和压缩率。
- 灵活的通讯压缩：面向异构移动边缘设备的能效联邦学习
本研究提出一种灵活的通信压缩控制方案，使得现代移动终端设备能够更加高效的参与大规模移动边缘设备的联合学习，进而在不影响学习性能的前提下节约能量消耗。
- ICLR基于压缩的线性收敛分散式优化
本文提出第一个具有压缩功能的 LDA 算法，并验证了算法的实用性和收敛速度。
- MM关于分布式学习的偏压压缩研究
研究表明，用于分布式学习的偏置压缩算子可以显著提高通信效率并达到线性收敛率，其性能优于其无偏压缩器。它们可用于随机梯度下降和分布式随机梯度下降，并且存在许多具有良好理论保证和实际性能的新偏置压缩器可供选择。
- 任意通信压缩下的分散式深度学习
该论文研究了去中心化训练深度学习模型的关键因素，提出使用通信压缩来解决网络带宽有限的问题，并通过 Choco-SGD 算法实现了高压缩下的快速收敛，同时支持更高压缩比例，实验结果表明在多种应用场景下具有很好的实际性能表现。
- 分布式 SGD 中的全局动量压缩
提出了一种新的名为全局动量压缩的方法，其利用稀疏通信和记忆梯度与动量随机梯度下降相结合，能够在分布式机器学习任务中显著减少通信成本，同时证明了该方法在凸问题和非凸问题中的收敛速率。
- 分布式训练的通信压缩技术
研究如何将通信压缩和分散化技术相结合，以提高分布式学习系统的鲁棒性。作者提出了一种压缩分散训练的框架，并且提出了两种不同的策略，称为外推压缩和差异压缩。通过分析和验证，该算法显著优于仅分散化和仅量化算法。