Aug, 2007

路径坐标优化

PDF
TL;DR本文介绍了 “逐一” 坐标下降算法及其在 $ L_1 $- 惩罚回归（套索）、garotte 和弹性网络等相关方法中的应用，证明了该算法可以与广泛应用的 LARS（或同伦）过程竞争，在大规模 lasso 问题中引起了不少关注。但注意到它并不适用于 “融合 Lasso”，所以论文提出了一个广义算法，在比标准的凸优化器运行时间更短的时间内得出了解决方案。最后，将该过程推广到二维融合 Lasso，并展示了其在一些图像平滑问题上的性能。
发现论文，激发创造
  • Lasso 惩罚回归的坐标下降算法

    本文研究了基于 lasso 惩罚的回归问题，并提出了两个非常快的算法来估计回归系数，其中一个算法基于循环坐标下降，而另一个基于贪心坐标下降和 Edgeworth 的算法。此外，如果对参数进行分组并对每个组进行惩罚，则可以将现有算法扩展到新领域。

    Mar, 2008

  • 路径坐标优化稀疏学习：算法与理论

    本文提出了一种新的理论方法，证明了路径坐标优化框架具有卓越的统计和计算性能，特别是在高维稀疏学习问题上具有优异的表现，并提出了一些改进措施以提高该框架的性能。

    Dec, 2014

  • 一种快速且可扩展的路径求解器：基于分块坐标下降法的组套索和弹性网络惩罚回归

    基于块坐标下降的快速可扩展算法用于解决广义线性模型中的群组套索和群组弹性网络问题，特别关注普通最小二乘损失（高斯损失），展示了每个块坐标更新可以通过牛顿方法高效解决，进一步利用自适应二分法进行改进，具有二次收敛速度。我们的基准测试显示，我们的 adelie 软件包在广泛的模拟和真实数据集上比下一个最快的软件包快 3 到 10 倍。此外，我们证明我们的软件包也是一个竞争的 lasso 求解器，与流行的 lasso 软件包 glmnet 的性能相当。

    May, 2024

  • 坐标下降算法入门

    该专著介绍了坐标下降算法，主要研究优化问题的解决方法，适用于机器学习、数据科学、工程等领域。

    Sep, 2016

  • L1 正则化损失函数的并行坐标下降优化算法

    采取 Shotgun 算法并在 Lasso 回归和稀疏逻辑回归方面进行了综合的理论和实证研究，证明了该算法在大规模问题上的扩展性表现非常优越。

    May, 2011

  • 非强凸损失的快速分布式坐标下降

    本文提出了一种高效的分布式随机坐标下降算法，用于最小化正则化的非强凸损失函数，并经过在英国最大的超级计算机 Archer 上的实现，表明该算法可以有效解决一个具有 500 亿个变量的 LASSO 优化问题，具有 O (1/k^2) 的收敛速度。

    May, 2014

  • 坐标下降算法

    本研究旨在介绍了坐标下降算法的基本原理、变体及其扩展，特别关注于在数据分析、机器学习等领域中的应用及并行执行的收敛性等。

    Feb, 2015

  • 关于群 Lasso 和稀疏群 Lasso 的说明

    该论文探讨了基于群回归的线性模型问题，提出了一种更加通用的罚函数，该罚函数将 L1 范数和群 L2 范数相融合，可以同时稀疏化群和个体特征。此外，为了解决该问题，提出了一种基于坐标下降的高效算法，该算法也适用于处理非正交模型矩阵的群回归的一般形式。

    Jan, 2010

  • 大数据优化的并行坐标下降方法

    本文针对最小化部分可分平滑凸函数和简单可分离凸函数之和的问题，展示了随机（块）坐标下降法在并行化时可以加速。 研究表明，与串行方法相比，在高概率下近似解决问题所需的迭代次数的理论加速比简单地依赖于并行处理器数量和目标函数平滑部分可分离的自然且易于计算的可分离度度量。 此外，当每次迭代更新的块数是随机的时，该算法的处理能力也非常出色，并可以解决涉及具有 200 亿个非零元素的矩阵的 LASSO 问题。

    Dec, 2012

  • 高效贪心坐标下降求解组合问题

    本文提出一种针对一类非光滑复合问题的贪心更新规则，其中包括 $L1$- 正则化问题，SVM 等应用程序。我们提供了独立于 $n$ 的首个线性收敛速度，并且证明了我们的贪心更新规则提供了类似于光滑情况下所获得的速度提升。此外，我们还展示了我们的新选择规则可以映射到最大内积搜索实例中，从而利用标准最近邻算法来加速实现。通过广泛的数值实验证明了该方法的有效性。

    Oct, 2018