CoCoA是一种分布式计算框架，适用于机器学习和信号处理中的大型数据集，拓展到包括L1正则化问题等非强凸正则化器，采用一种新的方法来处理非强凸正则化器和非光滑损失函数，具有明显优于现有方法的性能。
Nov, 2016
通过减少信息交换的通信成本，提出了使用凸优化公式的随机梯度编码方法，该方法可以在多台机器上有效地解决大规模机器学习中的瓶颈问题，同时经过正则化逻辑回归，支持向量机和卷积神经网络的实验验证了该方法的有效性。
Oct, 2017
本文提出了一种新类的渐变方法，用于分布式机器学习，可以通过自适应地跳过梯度计算来降低通信和计算成本，并经过了数值实验的验证。
May, 2018
提出了一种基于gossip的分散随机优化算法CHOCO-SGD和解决平均一致性问题的新型gossip算法CHOCO-GOSSIP，旨在在机器学习任务上实现数据分布和优化，有效降低通信成本并能提高算法效率。
Feb, 2019
通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。
Jul, 2020
通过使用压缩技术来减少通信成本，我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡，为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子，它们都能达到最低下界，并在实验中取得了很好的效果。
Oct, 2020
提出了一种新的基于随机压缩算子的一阶随机算法和方差约简技术，能够在去除了通信中数据量的一定压缩的前提下，快速地在分散的装置上完成模型的机器学习训练并收敛于最优解。
Nov, 2020
本文探讨了在分布式优化中，无偏压缩是否降低了总通讯成本，最终给出了条件和理论分析支持独立无偏压缩可以将总通讯成本降低到O(根号下min{n,kappa})。
May, 2023
MoTEF是一种将通信压缩与动量跟踪和误差反馈相结合的新方法，它在任意数据异质性下取得了显著优于现有方法的实际优越性。
May, 2024
在分布式机器学习中，有效地进行具有不同数据分布的多个代理的训练面临着重大挑战。本研究解决了分布式优化问题中的集中式和分散式设置，并提出了一种基于原始对偶方法的新方法，即（加速）梯度上升的多随机梯度下降（GA-MSGD），它自然地融合了本地更新，实现了线性收敛，并且几乎达到了最优的通信复杂性。
Jul, 2024