压缩迭代的分布式不动点方法
本文提出并分析了一种新型随机一阶方法：使用压缩迭代的梯度下降（GDCI）。GDCI 在每次迭代中首先使用失真随机压缩技术压缩当前迭代，然后进行梯度步骤。该方法是联邦学习实践中的关键要素之一的精华，其需要在将模型发送回服务器进行聚合之前由移动设备压缩。我们的分析为联邦学习的理论与实践之间的差距提供了一步，并开启了许多拓展的可能性。
Sep, 2019
提出了一种新的基于随机压缩算子的一阶随机算法和方差约简技术，能够在去除了通信中数据量的一定压缩的前提下，快速地在分散的装置上完成模型的机器学习训练并收敛于最优解。
Nov, 2020
本研究探讨了在分布式环境中使用固定步数和随机计算两种策略来实现平均操作符的固定点，以适应联邦学习等需要，经过收敛性分析和实验证明了我们方法的优势。
Apr, 2020
该论文提出了一种针对大规模机器学习的分布式梯度方法的统一分析框架，通过非渐进界限来推导了几种优化算法的收敛速率和信息交换，并得到了步长的显式表达式，表征了异步度和压缩精度如何影响迭代和通信复杂性保证，数值结果证实了限制信息交换下不同梯度压缩算法的收敛性能，以及快速收敛确实是可能的。
Jun, 2018
通过使用压缩技术来减少通信成本，我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡，为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子，它们都能达到最低下界，并在实验中取得了很好的效果。
Oct, 2020
本论文研究了用于最小化凸函数平均值的分布式优化算法，应用于统计机器学习的经验风险最小化问题。我们设计了一种分布式随机方差减少梯度算法，其在条件数方面同时增强了最佳并行运行时间、通信量和所有分布式一阶方法的通信轮数。此外，当条件数相对于每个机器中的数据大小不太大时，我们的方法及其加速扩展还可以优于现有的分布式算法，此外，还证明了广泛分布的课程的有关通信轮数的下限。我们证明了我们的加速分布式随机方差减少梯度算法实现了这一下限，从而它使用最少的通信轮数。
Jul, 2015