Jun, 2012

用于最小化复合函数的近端牛顿型方法

PDF
TL;DR该研究广义化了牛顿型方法以处理光滑函数的最小化，特别是一个包含简单近端映射的凸函数和一个非光滑函数的总和，在此基础上提出了近端牛顿型方法。研究表明，该方法即使在计算搜索方向不精确时，也能继承用于最小化光滑函数的牛顿型方法的理想收敛性质。该方法是许多针对生物信息学、信号处理和统计学习等问题量身定制的流行方法的特例，并且分析结果为其中一些方法提供了新的收敛结果。
proximal newton-type methodsconvex functionssmooth functionsconvergence behaviornonsmooth function
发现论文，激发创造
  • 复合极小值的近端法

    该论文研究了由凸或 Prox-regular 函数组成的函数与光滑向量函数的复合函数最小化问题，提出了一种基于线性逼近和正则化项的子问题算法框架，并探讨了该子问题的局部解的性质、全局收敛性和含有原问题解的活动流形的识别性质。初步的计算结果具有良好的性能。

    Dec, 2008

  • 自适应平滑算法用于凸复合优化

    我们引入自协调平滑的概念，用于最小化两个凸函数的和：第一个是光滑的函数，第二个可以是不光滑的函数。我们的方法自然地从称为部分平滑的平滑近似技术中得出。我们的方法的重点在于所得问题结构的自然特性，它为我们提供了一个变量度量选择方法和一条特别适合于近端牛顿类型算法的步长选择规则。另外，我们有效地处理不光滑函数推动的特定结构，例如 L1 正则化和组套索惩罚。我们证明了两种算法的局部二次收敛速度：Prox-N-SCORE，即近端牛顿算法和 Prox-GGN-SCORE，即近端广义高斯牛顿（GGN）算法。Prox-GGN-SCORE 算法突出了一种较为重要的近似过程，有助于显著降低与逆 Hessian 相关的大部分计算开销。此近似过程对于超参数机器学习模型和小批量设置非常有用。对合成数据集和真实数据集的数值实验证明了我们方法的效率和优越性。

    Sep, 2023

  • 复合最小化问题的近端牛顿框架：无需 Cholesky 分解和矩阵求逆的图学习

    提出了一种基于新的近端牛顿算法的凸优化方法，应用于图学习问题中的稀疏逆协方差矩阵估计，避免了矩阵求逆，适合并行实现。

    Jan, 2013

  • 近端法的误差界、二次增长和线性收敛

    本文介绍了一种利用步长乘以线性误差边界的方法来实现凸函数最小化的近端梯度算法；通过证明将误差边界与一种自然二次生长条件的等价性，直观地解释了观察到的线性收敛现象；我们的方法将推广到用于最小化由光滑映射组成的非光滑函数的近端方法，同时观察到算法中的短步长暗示了接近稳定状态，建议作为可靠的终止准则。

    Feb, 2016

  • 凸函数和光滑映射最小化组合的效率

    本文研究了凸函数与唇希茨凸函数的平滑映射组合的最小化算法的全局效率，以及使用近端线性方法结合平滑、快速梯度方案等技术处理只能通过一阶方法解决的子问题时，如何获得高效率。

    Apr, 2016

  • 超越凸性和 Lipschitz 梯度连续性的一阶方法及其在二次逆问题中的应用

    利用可适应性光滑函数的概念和 Bregman 基础的近端梯度方法，在解决具有复杂目标函数的非凸、非光滑最小化问题时，实现全局收敛。

    Jun, 2017

  • 一种惯性前后算法用于非凸函数和最小化

    该研究提出了具有惯性 / 存储效应的前后向近端算法，用于在非凸环境中最小化一个不光滑函数与一个光滑函数的总和。该算法生成的迭代序列收敛于目标函数的临界点，前提是目标函数的适当正则化满足 Kurdyka-Łojasiewicz 不等式，这对于半代数函数来说是成立的。通过两个数值实验说明了理论结果：第一个实验涉及恢复非凸优化问题的本地最优解的能力，而第二个实验涉及模糊图像的恢复。

    Oct, 2014

  • 基于不光滑优化的变量度量不精确线性搜索方法

    我们提出了一种新的近端 - 梯度方法，用于最小化可微、可能非凸的函数加上凸、可能非可微的函数，并探讨了度量可能在每次迭代中改变，近似计算近端点并给出充分条件的可能性。我们还展示了这个方法在图像恢复问题中的竞争力。

    Jun, 2015

  • 一种拟牛顿近端分裂方法

    本文提出了一种计算特定尺度规范下近似算子的凸分析方法，并利用对偶问题的分段线性特性描述了一类函数的高效实现，之后将该方法应用于凸最小化问题加速中并得到了优雅的拟牛顿方法，该算法在信号处理、稀疏恢复和机器学习分类等领域中具有广泛应用，并与现有方案相比具有较高的性能。

    Jun, 2012

  • 复合凸极小化的近端梯度法的最恶情况收敛速率

    本文研究了求解由平滑强凸函数和可得到其 Proximal 算子的非光滑凸函数组成的函数和的最优收敛速度，并利用半定规划等工具，建立了 Proximal 梯度算法的准确最坏情况收敛速度，同时提出可将强凸性等条件放宽以保证相应的收敛速度，得到了三种性能度量的同一步长最优的证明。

    May, 2017