Mar, 2020

一种新的可学习梯度下降型算法用于非凸非光滑反问题

PDF
TL;DR本文提出一种新的梯度下降类型算法来解决一般的非凸和非光滑规则化的反问题，并开发了一种神经网络架构来从训练数据中自适应地学习非线性稀疏转换，该算法可以适应非凸结构的拓扑变换。数值结果表明，所提出的神经网络在各种不同的图像重建问题上的准确性和效率方面优于最先进的方法。
发现论文，激发创造
  • 非光滑非凸正则化优化的简单随机梯度方法

    本研究旨在探讨优化非光滑非凸正则化器下的平滑非凸损失函数的随机梯度方法。我们提出了两种简单的随机梯度算法，对于有限总和和一般随机优化问题，相较于现有技术水平，其具有更优的收敛复杂度。同时，我们在经验风险最小化中比较了两种算法的实际表现。

    Jan, 2019

  • 机器学习的非凸优化

    本文阐述了机器学习中的非凸优化问题和直接方法在此领域的成功应用，旨在介绍这一领域的文献和分析非凸问题的简单程序工具。

    Dec, 2017

  • 非凸非光滑优化的不精确近端梯度法

    本文研究了机器学习中基于不光滑正则化的各种优化问题，并提出了三种不精确的近端梯度算法，包括基本版本和 Nesterov 加速版本。理论分析表明，我们的不精确近端梯度算法可以在非凸情况下具有和精确近端梯度算法相同的收敛速度。实验结果证实了新算法在三个代表性非凸学习问题上的优越性。

    Dec, 2016

  • 基于梯度的非凸优化的催化剂加速

    该论文介绍了一种通用的方案，使用最初设计用于最小化凸函数的梯度下降算法来解决非凸优化问题，该方案允许我们将这些方法用于弱凸性目标，这涵盖了机器学习和信号处理中通常出现的大类非凸函数。该方案无需假定目标函数具有凸性，而是通过自适应于未知的弱凸性常数来实现其保证。最后，本文还展示了将该方案应用于增量算法的几个实验结果。

    Mar, 2017

  • 非凸非线性随机规划的加速梯度方法

    该论文将 Nesterov 的加速梯度方法推广到非凸和可能的随机优化问题中，证明该方法可以最优地解决一般的非凸光滑优化问题，并可应用于重要类的复合优化问题和非凸随机优化问题，是文献中第一次确立了 AG 方法解决非凸非线性规划的收敛性。

    Oct, 2013

  • 非凸统计估计中的隐式正则化：梯度下降在相位恢复、矩阵补全和盲源分离问题中线性收敛

    研究非凸优化问题中梯度下降算法的隐式正则化特性，证明在多种统计模型中，梯度下降算法在没有显式正则化的情况下也能够实现正则化，并在相位恢复、低秩矩阵补全和盲反卷积等三个基本统计估计问题中实现近乎最优的统计和计算保证。

    Nov, 2017

  • 可证收敛的数据驱动凸非凸正则化

    深度学习在逆问题求解中的新兴范式通过从数据中学习正则化器实现高质量结果，但往往无法提供可证明的保证。本文通过凸非凸（CNC）框架展示了良好的可解性和收敛正则化，引入了一种新颖的输入弱凸性神经网络（IWCNN）构建方法，将学得的对抗正则化方法适应于 CNC 框架。通过实证分析表明我们的方法克服了先前对抗方法的数值问题。

    Oct, 2023

  • 广义平滑下的凸优化和非凸优化

    本文介绍了一种新的非均匀光滑条件下的优化方法，并开发出一种简单但有效的分析技术来限制沿轨迹的梯度，从而获得更强的凸优化和非凸优化问题的结果。我们通过这种新方法证明了（随机）梯度下降和 Nesterov 加速梯度法在这种一般的光滑条件下的收敛率，而不需要梯度剪裁，并允许在随机场景中的有界方差的重尾噪声。

    Jun, 2023

  • 正则化梯度下降：快速盲源分离和盲去卷积的非凸解法

    提出一种在竞争性情况下能够保证精确复原的非凸算法，它具有计算效率更高的额外优势，可应用于无线通信中的物联网。

    Mar, 2017

  • 非光滑非凸优化的快速随机方法

    本文研究随机算法优化非凸、非光滑的有限和问题。针对此问题，本文提出快速的随机算法，可获得常数迷你批量的收敛性。本文还使用这些算法的变种，证明了比批量近端梯度下降更快的收敛性，并在非凸、非光滑函数的一个子类中证明全局线性收敛率。

    May, 2016