Dec, 2015

L1 正则化分布式优化：一种高效的对偶原始框架

PDF
TL;DR本篇论文提出一种基于分布式环境中的 L1 正则化优化问题的通信高效框架，通过将经典目标在更一般的原始对偶设定中进行观察，我们开发了一类新方法，能够有效地分布式和应用于常见的稀疏性诱导模型。
发现论文，激发创造
  • CoCoA: 通信高效分布式优化框架

    CoCoA 是一种分布式计算框架，适用于机器学习和信号处理中的大型数据集，拓展到包括 L1 正则化问题等非强凸正则化器，采用一种新的方法来处理非强凸正则化器和非光滑损失函数，具有明显优于现有方法的性能。

    Nov, 2016

  • 通信高效分布式优化的梯度稀疏化

    通过减少信息交换的通信成本，提出了使用凸优化公式的随机梯度编码方法，该方法可以在多台机器上有效地解决大规模机器学习中的瓶颈问题，同时经过正则化逻辑回归，支持向量机和卷积神经网络的实验验证了该方法的有效性。

    Oct, 2017

  • 稀疏性下的高效分布式学习

    提出了一种新颖、高效的分布式稀疏学习方法，可在高维度中随机分割观测数据，并在通信效率方面展现极佳的表现。

    May, 2016

  • 一种通用的分布式双坐标优化框架用于正则化损失最小化

    本文提出了一个新的分布式双重正则化损失函数最小化问题的方法，可以直接处理数据并行性，并允许系统地导出二次坐标优化过程。通过这个新的公式，我们开发了分布式替代双重最大化（DADM）的加速版本，并提供了理论上的性能分析，发现其性能明显优于以前的分布式坐标优化算法。

    Apr, 2016

  • 一种用于训练 $l_1$ 正则化线性分类器的分布式块坐标下降法

    本研究设计了一种分布式算法来解决 $l_1$ 正则化问题，通过块优化和 Gauss-Seidel 算法更新，达到减少迭代次数和加速算法的目的，在全局收敛率方面得到了理论支持。实验表明，该方法比现有方法更快。

    May, 2014

  • 通信高效的分布式对偶坐标上升

    提出了一种称为 CoCoA 的通信高效的框架，该框架采用原始 - 对偶设置进行本地计算，从而显著减少必要的通信，实验结果表明，相比于 SGD 和 SDCA 算法，CoCoA 在平均 25 倍的时间内收敛到相同的.001 精度解决方案质量。

    Sep, 2014

  • 任意本地解算器的分布式优化

    提出了一个分布式优化框架，允许在每个（单个）机器上使用任意的求解器，同时保持出色的性能，并对此进行了强有力的原始 - 对偶收敛率保证。

    Dec, 2015

  • 网络中非光滑分布式优化的最优算法

    研究分布式优化的算法，提出了多步原始 - 对偶（MSPD）算法及其收敛率，证明了在局部正则性假设下，通信网络的结构仅对 $O (1/t)$ 的次要项产生影响。同时，提出了基于局部平滑的分布式随机平滑（DRS）算法在全局正则性假设下，其收敛速度接近于最优收敛速度，是一种简单而有效的算法。

    Jun, 2018

  • 一种基于有效本地函数逼近的高效分布式学习算法

    本文提出了一种新的分布式训练线性分类器的方法，旨在减少通信成本，在迭代期间每个节点最小化局部形成的近似目标函数，然后合并得到下降方向移动，该方法可以看作是迭代参数混合法。

    Oct, 2013

  • 分布式优化加速：基于原始对偶视角的局部步骤

    在分布式机器学习中，有效地进行具有不同数据分布的多个代理的训练面临着重大挑战。本研究解决了分布式优化问题中的集中式和分散式设置，并提出了一种基于原始对偶方法的新方法，即（加速）梯度上升的多随机梯度下降（GA-MSGD），它自然地融合了本地更新，实现了线性收敛，并且几乎达到了最优的通信复杂性。

    Jul, 2024