Sep, 2013

用于正则化损失最小化的加速近端随机双坐标上升

HTML
PDF
TL;DR本文介绍了一种基于近端随机对偶坐标上升方法的算法，并演示了如何使用内外迭代过程加速该方法。我们分析了该框架的运行时，并获得了改进各种关键机器学习优化问题（包括SVM、逻辑回归、岭回归、套索以及多类别SVM）的最新结果的速率。实验验证了我们的理论发现。
发现论文，激发创造
  • 用于正则化损失最小化的随机对偶坐标上升方法

    本研究介绍了随机对偶坐标上升法(SDCA)的新分析，证明了这类方法具有与随机梯度下降法(SGD)相当或更好的理论保证，从而证明了SDCA在实际应用中的有效性。

    Sep, 2012

  • 近端随机对偶坐标上升

    介绍了一个基于proximal的对偶协调上升方法，该算法框架可以用于多种正则化损失最小化问题，包括l1正则化和结构化输出SVM。我们取得的收敛速度与现有最先进结果匹配并有时超过。

    Nov, 2012

  • 基于小批量原始对偶算法的支持向量机

    本文探讨了在 SVM 的随机优化中使用小批量的问题，并提出了新的 mini-batched SDCA 变体。在原始基于 hinge-loss 的非光滑 primal 问题方面，我们对这两种方法都给出了保证。

    Mar, 2013

  • 加速小批次随机对偶坐标上升

    本篇论文介绍了一种在机器学习中用于解决正则化损失最小化问题的有效技术，即随机对偶坐标上升算法（SDCA）的一种扩展，首次引入了一种加速版的mini-batch SDCA算法，并且证明了它的快速收敛率。我们在并行计算系统上实现了该方法，并将结果与常规SDCA和加速的确定性梯度下降方法进行了比较。

    May, 2013

  • 近端设置下的小批量半随机梯度下降

    提出了一种利用小批量方案改进半随机梯度下降（S2GD）方法的 mS2GD，该方法主要用于最小化一个由很多光滑凸函数的平均值和一个简单的非光滑凸正则化器组成的强凸函数，分析表明，该方法在具有小批量效应和简单并行实现方案的情况下，可以加速算法的收敛过程。

    Apr, 2015

  • 改进的 SVRG 用于非强凸或非凸总和目标

    该研究提出了一种名为SVRG的算法，可用于处理强凸目标以外的任务并提供更高效的解决方案，并且该算法在许多著名的实际应用中都具有较好的表现。

    Jun, 2015

  • 自适应随机原始对偶坐标下降算法处理可分离鞍点问题

    本文提出了一种基于随机块坐标下降和自适应步长的原始-对偶更新框架，用于解决具有可分结构的凸-凹鞍点问题，并在正则化的经验风险最小化问题上进行了实证分析，结果表明该方法具有较快的收敛速度和良好的表现。

    Jun, 2015

  • 非正则化：经验风险最小化的近端点近似和更快的随机算法

    本文提出了一种新的随机算法，通过将强凸函数的最小化转化为函数规则化的逼近最小化，从而优化了经验风险最小化过程中的性能，实践表明该算法具有稳定性和行之有效的优势

    Jun, 2015

  • 分布式小批量SDCA

    该论文提出了一种改进的mini-batch随机双坐标上升方法，用于正则化经验损失最小化（即，支持向量机和支持向量机类型目标）。我们的分析允许灵活的抽样方案，包括数据分布跨多台机器，并结合了对损失平滑度和/或数据展开性的依赖（通过谱范数度量）。

    Jul, 2015

  • 基于模型的随机优化：加速、优化和并行计算的若干结果

    我们扩展了 Approximate-Proximal Point 方法，在随机凸优化问题中应用包括随机次梯度、近端点和束方法，同时提出了更快的模型算法和加速方案，保持了 Approximate-Proximal Point 算法的鲁棒性，同时提供了更快的收敛速度和更低的界限。我们通过实证测试证实了理论结果的可行性。

    Jan, 2021