一种基于有效本地函数逼近的高效分布式学习算法

Oct, 2013

一种基于有效本地函数逼近的高效分布式学习算法

An efficient distributed learning algorithm based on effective local functional approximations

Dhruv Mahajan, Nikunj Agrawal, S. Sathiya Keerthi, S. Sundararajan, Leon Bottou

TL;DR本文提出了一种新的分布式训练线性分类器的方法，旨在减少通信成本，在迭代期间每个节点最小化局部形成的近似目标函数，然后合并得到下降方向移动，该方法可以看作是迭代参数混合法。

Abstract

Scalable machine learning over big data is an important problem that is receiving a lot of attention in recent years. On popular distributed environments such as Hadoop running on a cluster of commodity machines, communication costs are substantial and algorithms need to be designed su

distributed training linear classifiers communication costs stochastic gradient descent smooth losses

发现论文，激发创造

通过缩放进行自适应的本地方法

本文旨在将局部训练技术与自适应方法相结合，以开发高效的分布式学习方法，并通过训练神经网络实验验证了方法的性能。

Jun, 2024

分布式分类与优化的高效协议

本文提出了基于多项式权重更新的两方协议，并且展示了一般的算法设计方法来解决在分布式数据中的高效学习问题。

Apr, 2012

自协调经验损失的通信高效分布式优化

本论文提出了基于省通信的分布式算法来最小化整体经验损失，算法的迭代复杂度和通信效率针对自共轭经验损失函数进行了分析。

Jan, 2015

自适应 SGD 分布式随机优化

本文提出了一种高效的分布式随机优化方法，通过结合适应性与方差约减技术，从而实现任何串行在线学习算法的并行计算，能够在不需要光滑参数的先验知识的情况下实现最优收敛速率，同时通过 Spark 分布式框架的实现能够对大规模逻辑回归问题进行高效处理。

Feb, 2018

稀疏性下的高效分布式学习

提出了一种新颖、高效的分布式稀疏学习方法，可在高维度中随机分割观测数据，并在通信效率方面展现极佳的表现。

May, 2016

异步分布式半随机梯度优化

本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

Aug, 2015

高效通讯的分布式鲁棒性分布式学习

本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。

May, 2022

一种用于训练 $l_1$ 正则化线性分类器的分布式块坐标下降法

本研究设计了一种分布式算法来解决 $l_1$ 正则化问题，通过块优化和 Gauss-Seidel 算法更新，达到减少迭代次数和加速算法的目的，在全局收敛率方面得到了理论支持。实验表明，该方法比现有方法更快。

May, 2014

机器学习的分布式优化中的最佳数据分割

通过使用本地数据相似性算法，本研究考虑了通信成本和本地计算开销之间的关系，并旨在实现服务器和本地计算机之间分布式数据的最佳比例，通过与均匀分布相比较，实验证明了我们解决方案的优越理论性能。

Jan, 2024

网络中平滑且强凸分布式优化的最优算法

该论文在两个设置中确定了强凸和光滑分布式优化的最优收敛速率：中央集权和去中心化通信。对于中央集权算法，作者表明分布式 Nesterov 加速梯度下降算法是最优的。对于基于流言蜚语 (gossip) 的去中心化算法，作者提供了第一个最优算法 MSDA 方法，并通过最小二乘回归和分类的逻辑回归问题验证了其效率。

Feb, 2017