Jun, 2023

应用于深度学习的非凸随机 Bregman 近端梯度方法

PDF
TL;DR研究一系列随机 Bregman 近端梯度法（SBPG）方法，用于训练具有非 Lipschitz 梯度的非凸目标函数，及应用于神经网络训练中具有多项式内核函数的深度神经网络的优化算法。证明了 SBPG 及其动量版本（MSBPG）在非凸优化问题中有很好的收敛性，提出了 MSBPG 解决大规模优化中随机梯度下降法的一些不足。
stochastic bregman proximal gradient methodsnonconvex optimizationneural network trainingconvergence propertiesoptimization algorithms
发现论文，激发创造
  • 一类结构化非线性规划的随机非单调块次梯度法

    本文提出了一种随机非单调块次梯度法，可用于最小化平滑函数和块可分离（可能非凸，非光滑）函数之和。该方法具有一定的收敛速度和找到一个近似静止点的能力，可以用于解决最小二乘问题和双重支持向量机问题。

    Jun, 2013

  • 对于相对平滑的凸优化的加速 Bregman 近端梯度方法

    提出一个利用 Bregman 距离三角形缩放和自适应算法加速处理可微和非可微函数求和的算法，证明基于内部三角形缩放定义的最优算法仍具有快速的经验收敛率，并且在多个应用中进行了数值实验

    Aug, 2018

  • 一种简单的近端随机梯度下降法用于非光滑非凸优化

    本文提出一种基于变量规约的 Proximal 随机梯度下降算法 (ProxSVRG+), 该算法在非凸性和非光滑性优化问题上具有更好的性能，并在收敛性分析方面比之前的算法更加全面和普适性更强。

    Feb, 2018

  • 非光滑非凸正则问题的随机方法的非渐进分析

    本文研究了非光滑非凸正则化问题的非渐近收敛性分析，并提出了基于随机近端梯度（SPG）的各种变体方法，以解决光滑非凸损失和非光滑非凸正则化器构成的非凸优化问题，其复杂度与解决凸规则化非凸问题的方法相同，并且在实践中比其他同类随机方法更有效。

    Feb, 2019

  • 近端 - 近端 - 梯度法

    本文提出了一个新的优化方法 PPG，它可以解决很多可以表示为许多可微分和许多不可微分的凸函数总和的最小化问题，并放宽了不可微分函数之间的限制，同时还引入了称为 S-PPG 的随机变异方法。这些方法具有处理大量不可微分，不可分离函数的能力，并且可以以快速的速度进行收敛。

    Aug, 2017

  • 非光滑、非凸问题的近距离引导随机次梯度方法

    本文介绍了一种基于随机投影次梯度方法的弱凸（即均匀逼近正则）非光滑非凸函数的算法，并通过简单证明证明这种方法与用于光滑非凸问题的随机梯度方法具有相同的收敛速度；这似乎是第一个针对弱凸函数类的随机次（或确定性）梯度法的收敛速度分析。

    Jul, 2017

  • 非凸随机复合优化问题的小批量随机逼近方法

    该论文提出了一种随机梯度下降算法（RSPG）来解决一类包含非可微凸函数和非光滑性质的随机优化问题，并且证明了该算法的收敛速度。

    Aug, 2013

  • 块随机梯度迭代用于凸和非凸优化

    本文介绍了一种将 Stochastic Gradient 和 Block Coordinate Descent 结合的方法，名为 Block Stochastic Gradient，它可以解决包含多个变量块的目标函数的优化问题，无论是凸优化问题还是非凸优化问题，并在多个模型上进行了测试。

    Aug, 2014

  • 使用 Polyak 动量的非凸随机复合优化

    该论文研究了在采用小型或有界批量大小时，在非凸设置中具有重要意义的随机近端梯度法，证明了该方法在非凸复合优化问题中达到最优的收敛速度，并且严格分析了 Polyak 动量在复合优化设置中的方差缩减效应，同时证明了在近似解决近端步骤的情况下，该方法仍然收敛，并通过数值实验验证了我们的理论结果。

    Mar, 2024

  • 明智地选择你的路径：在 Bregman 距离框架中的梯度下降

    本文提出将广义 Bregman 距离应用于非凸函数的梯度下降算法中，实现了从粗到细的多尺度特征引入，达到恢复优于传统梯度下降的非凸优化问题解的效果，并且在磁共振成像、盲去卷积以及神经网络图像分类等领域有广泛的应用。

    Dec, 2017