Apr, 2020

基于正交坐标轴的惩罚项一正则化优化的近端随机梯度方法

PDF
TL;DR介绍了一种新的随机优化算法 - 基于正交面的近端随机梯度方法（OBProx-SG）- 用于解决最流行的稀疏正则化问题，与现有方法相比，在稀疏探索和目标值方面综合表现优异，特别是在凸优化问题上获得了全局最优解，同时在非凸优化问题上获得了稳定点，同时在非凸深度神经网络中获得了更高稀疏度的解而不会牺牲泛化精度。
发现论文，激发创造
  • 一种简单的近端随机梯度下降法用于非光滑非凸优化

    本文提出一种基于变量规约的 Proximal 随机梯度下降算法 (ProxSVRG+), 该算法在非凸性和非光滑性优化问题上具有更好的性能，并在收敛性分析方面比之前的算法更加全面和普适性更强。

    Feb, 2018

  • 使用坐标轴下降算法训练带 L1 正则项的模型

    本文提出了基于维度的被动下降算法（OPDA），它使用了随机变量减少梯度 (SVRG) 来初始化下降方向，并应用了一种新的对齐操作来促进每个元素在更新后保持相同的符号，从而参数保持在之前的正半轴。它还明确抑制了每个元素的大小，以强加稀疏性，演示了 OPDA 在训练稀疏模型方面的超越现有的随机近端算法，并在总体上得到验证。

    Apr, 2017

  • 快速无梯度近端随机非凸非光滑优化方法

    本文提出了两种新的零阶近端随机优化算法 ZO-ProxSVRG 和 ZO-ProxSAGA，它们利用了 SVRG 和 SAGA 的方差缩减技术，并证明了它们具有线性 $O (rac {1}{T})$ 的收敛速度，实验结果表明相比于现有的零阶近端随机算法，新算法有更快的收敛速度。

    Feb, 2019

  • 一般结构稀疏回归的平滑近端梯度法

    本文提出了一种通用的优化方法 —— 平滑近端梯度法 (SPG)，可以在结构化的稀疏惩罚下解决任何光滑凸损失的结构化稀疏回归问题。此方法在性能和可伸缩性方面都具有很大优势，并在模拟实验和真实的遗传数据集上进行了验证。

    May, 2010

  • 严格低秩约束优化 -- 一种渐进 $O (rac {1}{t^2})$ 方法

    我们研究了一类具有秩规范化的非凸非光滑问题，以促进最优解的稀疏性。我们提出了应用近端梯度下降方法来解决该问题，并通过一种新型的支持集投影操作加速过程，作用于中间更新的奇异值。我们展示了我们的算法能够达到收敛速度为 $O (rac {1}{t^2})$，这与 Nesterov 有关于光滑凸问题的一阶方法的最优收敛速度完全相同。可以期望严格的稀疏性，且在每次更新中奇异值的支持集是单调收缩的，这在基于动量的算法中是新颖的。

    Jul, 2023

  • 一种用于一般结构稀疏学习的平滑近端梯度方法

    本文提出了一种称为平滑近端梯度方法的通用优化方法，它能够解决带有平滑凸损失和广泛结构稀疏诱导罚款的结构稀疏回归问题，通过 Nesterov 的一般平滑技术实现了比标准一阶法更快的收敛速度，比大多数广泛使用的内点法更可扩展。

    Feb, 2012

  • 应用于深度学习的非凸随机 Bregman 近端梯度方法

    研究一系列随机 Bregman 近端梯度法（SBPG）方法，用于训练具有非 Lipschitz 梯度的非凸目标函数，及应用于神经网络训练中具有多项式内核函数的深度神经网络的优化算法。证明了 SBPG 及其动量版本（MSBPG）在非凸优化问题中有很好的收敛性，提出了 MSBPG 解决大规模优化中随机梯度下降法的一些不足。

    Jun, 2023

  • 稀疏最小二乘问题的近端梯度同伦方法

    本文提出了利用一种启发式策略来解决稀疏恢复和压缩感知中的 $\ell_1$- 正则化最小二乘问题。该方法能够获得全局几何收敛速率，其迭代复杂度为 $O (\log (1/\epsilon))$。

    Mar, 2012

  • 关于随机（方差减少）近端梯度法在正则化期望回报优化中的应用

    基于正则化预期奖励优化问题，我们应用分析了经典的随机近端梯度方法，在标准条件下表明该方法在收敛到 ε- 稳定点的样本复杂度为 O (ε^{-4})。考虑到经典随机梯度估计器的方差通常较大，导致收敛速度变慢，我们还应用了一种高效的随机方差缩减近端梯度方法与基于重要性采样的概率梯度估计器 (PAGE)。我们的分析结果表明，在附加条件下，样本复杂度可以从 O (ε^{-4}) 提高到 O (ε^{-3})。在强化学习文献中的类似设置下，我们的结果与竞争对手的随机 (方差减小) 近端梯度方法的样本复杂度相匹配。

    Jan, 2024

  • 带逐步方差缩减的近端随机梯度下降法

    提出了一种多级方案来逐渐减少随机梯度方差的新的近端随机梯度方法，用于解决平滑组件函数的平均和简单近端映射的一般凸函数总和的极小化问题。

    Mar, 2014