Sep, 2019

最优稀疏恢复的隐式正则化

PDF
TL;DR本文探讨了应用于无惩罚最小二乘回归问题的梯度下降方法的隐式正则化方案，旨在从线性测量的过少的系统中重构出一个稀疏信号，考虑到受限等距假设，我们展示了有一定参数下，预设好的初始化、步长和停机时间能给出一个在统计和计算上都是优的算法，可以在费用与读取 poly-logarithmic 因子的数据一样的代价下，实现极小化率。除了最小化控制，我们还展示了当信噪比足够高时，算法会适应实例的困难度并产生一个与维度无关的率。实现算法的关键是一个逐渐增加的步长方案，根据对真实解的精细估计进行适应。我们通过数值实验验证了我们的发现并将我们的算法与显式 Λ1 惩罚进行了比较。从难实例到容易实例，我们看到我们的算法经历了一个相变，最终与具有真正的支持知识的最小二乘拟合器匹配。
发现论文，激发创造
  • 非凸统计估计中的隐式正则化：梯度下降在相位恢复、矩阵补全和盲源分离问题中线性收敛

    研究非凸优化问题中梯度下降算法的隐式正则化特性，证明在多种统计模型中，梯度下降算法在没有显式正则化的情况下也能够实现正则化，并在相位恢复、低秩矩阵补全和盲反卷积等三个基本统计估计问题中实现近乎最优的统计和计算保证。

    Nov, 2017

  • 非参数稀疏性和正则化

    研究非线性模型下的监督学习与变量选择问题，提出一种基于偏导数的非参数稀疏模型，利用再生核希尔伯特空间的概念和近端方法得出最小化问题及迭代求解算法，并通过理论和实验分析表明其具有优秀的性能表现。

    Aug, 2012

  • 稀疏非凸学习问题的最优计算和统计收敛速率

    提出了一种近似正则化路径追踪方法，用于求解许多具有非凸问题求解的学习问题，该算法迭代复杂度与全正则化路径相同，可以同时提供统计和计算收敛率的显式表达式，并可以实现全局几何收敛，以及对于所有近似局部解的样本复杂度分析和精确支持恢复结果。

    Jun, 2013

  • 正则化与小球方法 I: 稀疏恢复

    本文通过研究规则化问题，得出了估计误差率的界限，并扩展了 LASSO、SLOPE 和迹范数规则化的已知估计，为学习问题和规则化问题的分析提供了一个共同的框架，特别是在规则化中，各种稀疏概念的作用以及它们与真实最小化器附近的 Ψ 的亚微分的大小的联系方面。

    Jan, 2016

  • 稀疏惩罚优化

    本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术，包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时，我们提供了一组广泛的实验来比较各种算法在计算方面的差异。

    Aug, 2011

  • 一种统一的动态方法用于稀疏模型选择

    本文提出一种简单的迭代正则化路径方法，通过稀疏 Mirror Descent 算法或带有非线性损失的 Linearized Bregman 迭代的动态，在 Restricted Strong Convexity (RSC) 和 Irrepresentable Condition (IRR) 的限制下，以达到不出错的子空间为首要目标，运用于稀疏逻辑回归和 Ising 模型的 NIPS 合著问题上，其性能与 glment 相当，进一步减小了偏差。

    Oct, 2018

  • 小的随机初始化类似于谱学习：超参数低秩矩阵重建的优化和泛化保证

    本文针对超参数模型上的梯度下降进行了研究，证明小随机初始化后的梯度下降与受欢迎的谱方法相似，并且可以在全局最优解附近泛化良好。具体而言，对于通过自然的非凸公式重构低秩矩阵的问题，我们证明了梯度下降迭代的轨迹可以近似分解为三个阶段。

    Jun, 2021

  • 通过迭代加权最小二乘法实现图像恢复的稀疏和低秩先验学习

    提出了一种基于学习的稀疏和低秩约束的图像恢复新优化算法，并将其和现有算法进行了比较和评估。

    Apr, 2023

  • 组稀疏的隐式正则化

    通过一种新的神经再参数化方法，即对角线分组线性神经网络，研究了梯度下降对结构稀疏性的隐式正则化。与现有方法相比，我们的方法证明了最小化正则化和模拟下降无法模拟我们的训练轨迹，并在一般噪声设置中分析了相应的回归问题的梯度动态和最小极小误差率。

    Jan, 2023

  • 任意线性变换下的自适应块稀疏正则化

    我们提出了一种用于未知块结构下任意线性变换的块稀疏凸信号重建方法，它是现有方法 LOP-𝓁₂/𝓁₁的一种推广，能够在不可逆变换下重建具有块稀疏性的信号。我们提供了解决该方法的迭代算法，并给出了收敛到最优解的条件。数值实验验证了该方法的有效性。

    Jan, 2024