CoCoA 是一种分布式计算框架，适用于机器学习和信号处理中的大型数据集，拓展到包括 L1 正则化问题等非强凸正则化器，采用一种新的方法来处理非强凸正则化器和非光滑损失函数，具有明显优于现有方法的性能。

Nov, 2016

本文介绍了一种分布式优化方法 ——CoCoA+，解决了大规模机器学习中通信瓶颈和全局参数的更新问题，使得非光滑的凸损失函数以更快的速度达到更优的性能表现。

Feb, 2015

本文提出了 Computation and Communication Decoupling Stochastic Gradient Descent (CoCoD-SGD) 算法，实现了计算和通信的并行处理，有效减少了通信开销，较传统分布式 SGD 算法具有更高的时间加速度，在 16 个 GPU 上的 ResNet18 和 VGG16 深度神经网络训练表现出 2-3 倍的速度提升。

Jun, 2019

本文提出了一个统一的框架 —— 合作 SGD (Cooperative SGD)，它包含了现有的高效通信 SGD 算法，如周期平均、弹性平均和分散 SGD。通过分析 Cooperative SGD，我们为现有算法提供了新的收敛保证。此外，该框架使我们能够设计新的高效通信 SGD 算法，以在降低通信开销和实现低误差下的快速误差收敛之间取得最佳平衡。

Aug, 2018

基于限制带宽的集群，我们提出了一种名为 CO2 的新方法，通过引入局部更新和异步通信实现分布式数据并行训练的完全重叠，从而实现大规模训练的高可扩展性。我们还提出了降低收敛性和训练稳定性的过时惩罚和外部动能裁剪技术。通过大量实验验证了 CO2 在计算机视觉和自然语言处理领域的各种任务上的收敛性、泛化性和可伸缩性，无论是在具有 800Gbps RDMA 还是 80Gbps TCP/IP 的集群中，CO2 都表现出卓越的能力来大幅提高可扩展性。

Jan, 2024

本文提出了分布式随机双协调上升算法（DisDCA）以解决大规模正则化损失最小化问题，并通过理论分析和实证研究证明，通过增加每次迭代的双向更新次数，DisDCA 算法可以实现指数级收敛加速，从而证明了实际 DisDCA 算法相对于基本算法具有卓越的性能。

Dec, 2013

本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。

Feb, 2021

本文提出了一种新的去中心化一阶方法解决在多代理网络上的非光滑和随机优化问题，其中主要贡献为提出了基于去中心化通讯滑动算法的去中心化原始 - 对偶算法，以解决在去中心化优化中通讯瓶颈。

Jan, 2017

本文提出了一种基于去中心化网络的、通信效率高且线性收敛的近似牛顿方法，该方法可以用于复合优化，并且通过本地通信和计算，可以显著提高总体效率。

Sep, 2019

本文介绍 AdaComm，一种自适应通信策略，可以更快地训练深度神经网络，使大规模机器学习训练更 robust 且具有更快的收敛速度。

Oct, 2018