May, 2016

SQRT-Lasso 优化问题中近端算法的快速收敛：无需担心其非光滑损失函数

PDF
TL;DR本研究针对机器学习中使用的 Square-root-Lasso（SQRT-Lasso）回归问题，发现通过研究建模结构，这种方法可以同时获得效率和准确性，同时提出使用 proximal 算法（如 proximal gradient descent，proximal Newton 和 proximal quasi-Newton）进一步地提高效率。
machine learningregressionproximal algorithmsnonsmooth loss functionscomputational efficiency
发现论文，激发创造
  • 近端法的误差界、二次增长和线性收敛

    本文介绍了一种利用步长乘以线性误差边界的方法来实现凸函数最小化的近端梯度算法；通过证明将误差边界与一种自然二次生长条件的等价性，直观地解释了观察到的线性收敛现象；我们的方法将推广到用于最小化由光滑映射组成的非光滑函数的近端方法，同时观察到算法中的短步长暗示了接近稳定状态，建议作为可靠的终止准则。

    Feb, 2016

  • 带噪声的改进高斯 - 牛顿算法

    本文研究了在大规模统计学环境中用于机器学习和信号处理的 Gauss-Newton 方法及其随机版本，以及它们的非光滑对应物 prox-linear 算法。该文在一个简化的统计学例子和结构化预测学习问题上，对这两类算法的对比表现进行了理论和实验研究，着重研究了在统计噪声下 modified Gauss-Newton 方法二次收敛的适用范围，并强调了随机梯度下降优化非光滑复合目标函数的多用途性。

    May, 2023

  • 一种非凸优化的随机拟牛顿方法

    本文提出了一种快速的随机拟牛顿方法，针对平滑性不均匀的情况，通过梯度剪切和方差减小，实现了最优的 O (ε^(-3)) 样本复杂度，并通过简单的超参数调节实现了收敛加速，数值实验证明了该算法优于现有方法。

    Mar, 2024

  • 方根 Lasso：通过圆锥规划实现稀疏信号的关键恢复

    该论文提出了一种称为平方根 Lasso 方法的高维稀疏线性回归模型估计方法，该方法对于大量输入变量但只有少量参数起作用，不需要预估标准差，同时可以适用于高斯或非高斯误差数据。

    Sep, 2010

  • 计算密集型 L1 正则化 M - 估计量的近端拟牛顿算法

    在本研究中，我们提出了一种精心构造的近端拟牛顿算法，用于解决计算密集的 M - 估计问题，特别是针对条件随机场的 L1 正则化 MLE 问题，该问题由于涉及到要求代价昂贵的推理步骤来计算梯度值，因此具有特别昂贵的优化成本。我们的算法在序列标记和分类等问题上比当前最先进的算法收敛速度更快。

    Jun, 2014

  • 普通最小二乘回归的更快、更好、更坚强的收敛速率

    提出一种基于平均加速正则梯度下降的算法，通过细化初值和 Hessian 矩阵的假设，最优地优化回归问题，并证明其在偏差与方差之间具有最优性、大数据时初始化影响可达到 O（1/n2）以及对于维度 d 的依赖程度为 O（d/n）。

    Feb, 2016

  • 自适应平滑算法用于凸复合优化

    我们引入自协调平滑的概念，用于最小化两个凸函数的和：第一个是光滑的函数，第二个可以是不光滑的函数。我们的方法自然地从称为部分平滑的平滑近似技术中得出。我们的方法的重点在于所得问题结构的自然特性，它为我们提供了一个变量度量选择方法和一条特别适合于近端牛顿类型算法的步长选择规则。另外，我们有效地处理不光滑函数推动的特定结构，例如 L1 正则化和组套索惩罚。我们证明了两种算法的局部二次收敛速度：Prox-N-SCORE，即近端牛顿算法和 Prox-GGN-SCORE，即近端广义高斯牛顿（GGN）算法。Prox-GGN-SCORE 算法突出了一种较为重要的近似过程，有助于显著降低与逆 Hessian 相关的大部分计算开销。此近似过程对于超参数机器学习模型和小批量设置非常有用。对合成数据集和真实数据集的数值实验证明了我们方法的效率和优越性。

    Sep, 2023

  • 高维非凸稀疏学习中 DC Proximal Newton 算法的二次收敛性

    本文提出了一个优化算法，并探讨了其在高维度下求解非凸正则化稀疏学习问题中的应用。在多阶段凸松弛的基础上，我们提出的算法融合了近端牛顿算法和差分凸（DC）编程，实现了强大的计算和统计保证。数值实验证明了我们理论的有效性。

    Jun, 2017

  • 一种用于一般结构稀疏学习的平滑近端梯度方法

    本文提出了一种称为平滑近端梯度方法的通用优化方法，它能够解决带有平滑凸损失和广泛结构稀疏诱导罚款的结构稀疏回归问题，通过 Nesterov 的一般平滑技术实现了比标准一阶法更快的收敛速度，比大多数广泛使用的内点法更可扩展。

    Feb, 2012

  • 机器学习中非光滑凸优化问题的拟牛顿方法

    本研究将众所周知的 BFGS 拟牛顿方法及其内存限制变种 LBFGS 扩展到非平滑凸目标的优化，提出了 subBFGS 算法，其全局收敛，并使用其记忆限制变体（subLBFGS）来最小化 L2 正则化风险并开发了新的多类和多标签设置下的准确搜索算法。

    Apr, 2008