Jul, 2020
基于压缩的线性收敛分散式优化
Linear Convergent Decentralized Optimization with Compression
TL;DR本文提出第一个具有压缩功能的LDA算法，并验证了算法的实用性和收敛速度。
Abstract
communication compression has been extensively adopted to speed up large-scale distributed optimization. However, most existing decentralized algorithms with compression are unsatisfactory in terms of convergence rate
发现论文，激发创造
去中心化和随机优化的通讯高效算法
本文提出了一种新的去中心化一阶方法解决在多代理网络上的非光滑和随机优化问题，其中主要贡献为提出了基于去中心化通讯滑动算法的去中心化原始-对偶算法，以解决在去中心化优化中通讯瓶颈。
Jan, 2017
一种具有网络独立步长和分离收敛速度的去中心化近端梯度方法
本文介绍一种新的分布式优化问题的近端-梯度算法，用于处理包含平滑和非平滑项的组合目标，我们提出的新算法与以前的算法相比具有一些优势，例如不需要协调步长和可得到线性收敛。
Apr, 2017
去中心化随机优化和 Gossip 算法的压缩通信
提出了一种基于gossip的分散随机优化算法CHOCO-SGD和解决平均一致性问题的新型gossip算法CHOCO-GOSSIP，旨在在机器学习任务上实现数据分布和优化，有效降低通信成本并能提高算法效率。
Feb, 2019
分布式优化的线性收敛算法：免费发送更少的比特！
提出了一种新的基于随机压缩算子的一阶随机算法和方差约简技术，能够在去除了通信中数据量的一定压缩的前提下，快速地在分散的装置上完成模型的机器学习训练并收敛于最优解。
Nov, 2020
无偏压缩在分布式优化中节省通信开销的时间和程度
本文探讨了在分布式优化中，无偏压缩是否降低了总通讯成本，最终给出了条件和理论分析支持独立无偏压缩可以将总通讯成本降低到O(根号下min{n,kappa})。
May, 2023
改进非凸分布式优化下函数相似性的最坏情况双向通信复杂度
通过提出MARINA-P方法，利用相关压缩器实现下行压缩，在纯净的上行通信成本可以忽略的情况下，从服务端到工作者的通信复杂度可以随着工作者数量而改进，这种方法在支持双向压缩的方法中有着明显的改进，理论和实验结果都证明了所提算法的高效性。
Feb, 2024
分布式学习的通信高效差错反馈
分散学习中受通信限制的算法依赖于局部更新以及压缩信号的交换，本文提出了一种新的分散、通信高效的学习方法，结合了差分量化和误差反馈，在满足低维子空间限制的前提下实现个体风险函数的最小化，实验证明在小步长且有限位数的情况下，可以实现与无压缩情况相当的性能。
Jun, 2024